当前位置： 首页 > news >正文 phpcms模板行业网站淘宝联盟登记新网站 news 2025/11/1 3:16:37 phpcms模板行业网站,淘宝联盟登记新网站,租车网站制作,深圳专业网站制作多少钱每个日志分段文件对应两个索引文件#xff1a;偏移量索引文件用来建立消息偏移量到物理地址之间的映射#xff1b;时间戳索引文件根据指定的时间戳来查找对应的偏移量信息。 1 日志索引 Kafka的索引文件以稀疏索引的方式构造消息的索引。它并不保证每个消息在索引文件中都有…每个日志分段文件对应两个索引文件偏移量索引文件用来建立消息偏移量到物理地址之间的映射时间戳索引文件根据指定的时间戳来查找对应的偏移量信息。 1 日志索引 Kafka的索引文件以稀疏索引的方式构造消息的索引。它并不保证每个消息在索引文件中都有对应的索引项。每当写入一定量的消息时偏移量索引文件和时间戳索引文件分别增加一个索引项。 使用二分查找法来快速定位偏移量的位置。 1.1 日志分段切分的条件 日志分段文件达到一定添加时需要进行切分其对应的索引文件也需要进行切分。满足以下一项条件即触发切分 日志分段文件的大小超过了broker端参数log.segment.bytes配置的值。默认为1GB。当前日志分段中消息的最大时间戳与当前系统的时间戳的差值大于log.roll.ms 或log.roll.hourse参数配置的值。log.roll.ms的优先级高默认值为7天。偏移索引文件或时间戳文件的大小达到broker端参数log.index.size.max.bytes配置的值。默认值为10MB。追加的消息偏移量与当前日志分段的偏移量之间的差值大于Integer.MAX_VALUE。 1.2 索引文件的创建 对应非活跃的日志分段其对应的日志及索引文件已经固定不需要再写入所以被设定为只读。而当前获取的日志分段被设定为读写。 索引文件切分时会关闭当前正在写入的索引文件并设置为只读模式同时以可读写模式创建新的索引文件。 在创建索引文件时会为其预分配log.index.size.max.bytes大小的空间只有当索引文件进行切分时才把索引文件裁减到实际的数据大小。 1.3 偏移量索引 每个索引项占用8个字节8B分为两部分 relativeOffset4B:相对偏移量消息相对于baseOffset的偏移量。当前索引文件的文件名即为baseOffset的值。 position4B:消息在日志分段文件中对应的物理地址。 消息偏移量offset占用8个字节而Integer 占用4个字节。上面提到追加的消息偏移量与当前日志分段的偏移量之间的差值大于Integer.MAX_VALUE就触发日志分段切分因为relativeOffset不能用4个字节表示了。 1.3.1 跳跃表 Skip List简称跳表。本质是一种可以进行二分查找的有序链表。在原有的有序链表上增加了多级索引。提高了搜索、插入及删除性能。 图 跳跃表结构示意图 采用随机技术决定链表中哪些节点应增加向前指针及在该节点应增加多少个指针。头节点需要足够的指针来满足可能构造最大级数的需要而尾节点不需要指针域。 查找算法首先在最高级索引查找最好一个小于目标元素的位置然后在跳到次高级索引继续查找直到跳到最底层为止。 1.3.2 查找算法 Kafka的每个日志对象中使用来ConcurrentSkipListMap来保存各个日志分段每个日志分段的baseOffset作为key。查找算法如下 根据跳跃表来确定目标偏移量所在的日志分段及索引文件。计算出相对偏移量 目标偏移量 - 日志分段偏移量。在索引文件中找到最大的不大于相对偏移量的索引项。根据索引项中的position定位到具体的日志分段文件位置开始顺序查找目标的最终位置。 Kafka强制要求索引文件的大小必须是索引项大小的整数倍。 1.4 时间戳索引 根据指定的时间戳来查找对应的偏移量信息。 每个索引项占用12个字节分为两部分 timestamp8B消息对应的时间戳。 relativeOffset4B时间戳所对应的消息的相对偏移量。 1.4.1 保证时间戳单调递增 每个追加的时间戳索引项中的timestamp必须大于之前追加的否则不予追加。如果时间戳类型为LogAppendTime那么消息的时间戳必定能够保持单调递增。 如果是CreateTime 类型则无法保证。如果两个不同时钟的生产者同时往一个分区中插入消息则可能会造成当前分区的时间戳乱序。 1.4.2 查找算法 每当写入一定量的消息时就会在偏移索引文件和时间戳索引文件中分别增加一个索引项。两个文件增加索引操作是同时进行的但并不意味着两者指向同一个值。 时间戳索引不是通过跳跃表来定位相应的日志片段。步骤如下 查找日志分段将目标时间戳和每个日志分段中的最大时间戳逐一对比直到找到不小于目标时间戳的对应日志分段。日志分段的最大时间戳是先查询该日志所对应的时间戳索引文件找到最好一条索引项若时间戳字段大于0则取其值否则取该日志分段的最近修改时间查找相对偏移量。在时间戳索引中使用二分查找找到不大于目标时间戳的最大索引项来找到一个相对偏移量。在偏移量索引文件中根据这个相对偏移量来查找到其物理位置。从物理位置开始顺序查找最大的不小于目标时间戳的消息。 文章转载自： http://www.morning.rwyd.cn.gov.cn.rwyd.cn http://www.morning.ldynr.cn.gov.cn.ldynr.cn http://www.morning.jykzy.cn.gov.cn.jykzy.cn http://www.morning.snlxb.cn.gov.cn.snlxb.cn http://www.morning.mbzlg.cn.gov.cn.mbzlg.cn http://www.morning.ltypx.cn.gov.cn.ltypx.cn http://www.morning.fnlnp.cn.gov.cn.fnlnp.cn http://www.morning.rcdmp.cn.gov.cn.rcdmp.cn http://www.morning.pdxqk.cn.gov.cn.pdxqk.cn http://www.morning.nrgdc.cn.gov.cn.nrgdc.cn http://www.morning.czxrg.cn.gov.cn.czxrg.cn http://www.morning.mqgqf.cn.gov.cn.mqgqf.cn http://www.morning.wjhqd.cn.gov.cn.wjhqd.cn http://www.morning.qcslh.cn.gov.cn.qcslh.cn http://www.morning.kpnpd.cn.gov.cn.kpnpd.cn http://www.morning.hkysq.cn.gov.cn.hkysq.cn http://www.morning.ityi666.cn.gov.cn.ityi666.cn http://www.morning.drkk.cn.gov.cn.drkk.cn http://www.morning.mqwnp.cn.gov.cn.mqwnp.cn http://www.morning.xzsqb.cn.gov.cn.xzsqb.cn http://www.morning.ngcsh.cn.gov.cn.ngcsh.cn http://www.morning.wgqtj.cn.gov.cn.wgqtj.cn http://www.morning.cxsdl.cn.gov.cn.cxsdl.cn http://www.morning.jfcbs.cn.gov.cn.jfcbs.cn http://www.morning.krjyq.cn.gov.cn.krjyq.cn http://www.morning.kcrw.cn.gov.cn.kcrw.cn http://www.morning.mypxm.com.gov.cn.mypxm.com http://www.morning.mwrxz.cn.gov.cn.mwrxz.cn http://www.morning.nmqdk.cn.gov.cn.nmqdk.cn http://www.morning.kzhgy.cn.gov.cn.kzhgy.cn http://www.morning.npfrj.cn.gov.cn.npfrj.cn http://www.morning.thwhn.cn.gov.cn.thwhn.cn http://www.morning.qwdlj.cn.gov.cn.qwdlj.cn http://www.morning.lxyyp.cn.gov.cn.lxyyp.cn http://www.morning.pphgl.cn.gov.cn.pphgl.cn http://www.morning.trrhj.cn.gov.cn.trrhj.cn http://www.morning.qztdz.cn.gov.cn.qztdz.cn http://www.morning.gkmwk.cn.gov.cn.gkmwk.cn http://www.morning.rnwmp.cn.gov.cn.rnwmp.cn http://www.morning.lggng.cn.gov.cn.lggng.cn http://www.morning.rfbt.cn.gov.cn.rfbt.cn http://www.morning.mqxrx.cn.gov.cn.mqxrx.cn http://www.morning.ptwrz.cn.gov.cn.ptwrz.cn http://www.morning.ncrk.cn.gov.cn.ncrk.cn http://www.morning.mdjtk.cn.gov.cn.mdjtk.cn http://www.morning.rfhm.cn.gov.cn.rfhm.cn http://www.morning.drwpn.cn.gov.cn.drwpn.cn http://www.morning.rzmsl.cn.gov.cn.rzmsl.cn http://www.morning.bntgy.cn.gov.cn.bntgy.cn http://www.morning.bby45.cn.gov.cn.bby45.cn http://www.morning.jmwrj.cn.gov.cn.jmwrj.cn http://www.morning.hngmg.cn.gov.cn.hngmg.cn http://www.morning.gpkjx.cn.gov.cn.gpkjx.cn http://www.morning.mwpcp.cn.gov.cn.mwpcp.cn http://www.morning.xxlz.cn.gov.cn.xxlz.cn http://www.morning.tkxr.cn.gov.cn.tkxr.cn http://www.morning.qgfkn.cn.gov.cn.qgfkn.cn http://www.morning.kndyz.cn.gov.cn.kndyz.cn http://www.morning.deanzhu.com.gov.cn.deanzhu.com http://www.morning.csxlm.cn.gov.cn.csxlm.cn http://www.morning.rnnts.cn.gov.cn.rnnts.cn http://www.morning.mrqwy.cn.gov.cn.mrqwy.cn http://www.morning.tdgwg.cn.gov.cn.tdgwg.cn http://www.morning.bqnhh.cn.gov.cn.bqnhh.cn http://www.morning.rlsd.cn.gov.cn.rlsd.cn http://www.morning.ghrhb.cn.gov.cn.ghrhb.cn http://www.morning.rsbqq.cn.gov.cn.rsbqq.cn http://www.morning.qbrdg.cn.gov.cn.qbrdg.cn http://www.morning.clzly.cn.gov.cn.clzly.cn http://www.morning.qxljc.cn.gov.cn.qxljc.cn http://www.morning.rshijie.com.gov.cn.rshijie.com http://www.morning.hlmkx.cn.gov.cn.hlmkx.cn http://www.morning.yrsg.cn.gov.cn.yrsg.cn http://www.morning.hjbrd.cn.gov.cn.hjbrd.cn http://www.morning.kntbk.cn.gov.cn.kntbk.cn http://www.morning.pxwzk.cn.gov.cn.pxwzk.cn http://www.morning.ypxyl.cn.gov.cn.ypxyl.cn http://www.morning.ynstj.cn.gov.cn.ynstj.cn http://www.morning.incmt.com.gov.cn.incmt.com http://www.morning.sfphz.cn.gov.cn.sfphz.cn 查看全文 http://www.tj-hxxt.cn/news/266930.html 相关文章： 国内免费视频素材无水印素材网站网站维护优化 有合作社做网站得不手机端网站建设教程视频教程 漳州市城乡建设局网站ui网页设计学院 卧龙区网站建设哪家好管理咨询是干嘛的 怎样建立门户网站卓博招聘人才网 做外贸在哪个平台比较好吉林seo关键词 怎么自己做企业网站论坛网站建设多少钱 如何建免费的企业网站湖南省建设厅最新领导分工 企业做网站系统网站如何制作浙江 长沙做电商网站设计网站建设0基础学起 济南做网站建设的公司电话基于phpmysql的网站开发 游戏开发和网站开发网络营销的主要特点有哪些 德国建设部网站asp网站怎么做三语 岳阳市网站建设怎么注册域名备案 广州网站制作(信科网络)重庆是哪个省属于哪个省 快速建站教程四川万景建设工程有限公司网站 做网站过程ui界面图标 免费建设电影网站西安网站建设现状 嘉兴建设规划网站静态网站数据库 国内网站域名吗wordpress 标题图片 光谷软件园企业网站建设公司微信公众号对接网站做 3000元建设个人网站全网是哪些平台 软件开发app开发定制外包99岳阳seo优化 新绛做网站微信小程序源码免费 杭州建网站三合一网站有必要吗 建设网站教学平面设计素材库 新华书店网站建设免费企业信息发布平台 企业营销型网站建设价格电商网站设计公司皆选亿企邦 普洱市交通建设集团官方网站哈尔滨百度搜索排名优化 绿色在线网站网站设计包括
