当前位置： 首页 > news >正文 二手房地产中介网站建设wap网站模板 news 2025/10/21 20:34:48 二手房地产中介网站建设,wap网站模板,中企动力科技股份有限公司大连分公司,广州谷歌seo公司Kafka 的副本机制 Kafka 的高可用实现主要依赖副本机制。 Broker 和 Partition 的关系 在分析副本机制之前#xff0c;先来看一下 Broker 和 Partition 之间的关系。Broker 在英文中是代理、经纪人的意思#xff0c;对应到 Kafka 集群中#xff0c;是一个 Kafka 服务器节…Kafka 的副本机制 Kafka 的高可用实现主要依赖副本机制。 Broker 和 Partition 的关系 在分析副本机制之前先来看一下 Broker 和 Partition 之间的关系。Broker 在英文中是代理、经纪人的意思对应到 Kafka 集群中是一个 Kafka 服务器节点Kafka 集群由多个 Broker 组成也就是对应多个 Kafka 节点。 Kafka 是典型的发布订阅模式存在 Topic 的概念一个 Broker 可以容纳多个 Topic也就是一台服务器可以传输多个 Topic 数据。 不过 Topic 是一个逻辑概念和物理上如何存储无关Kafka 为了实现可扩展性将一个 Topic 分散到多个 Partition 中这里的 Partition 就是一个物理概念对应的是具体某个 Broker 上的磁盘文件。 从 Partition 的角度Kafka 保证消息在 Partition 内部有序所以 Partition 是一段连续的存储不能跨多个 Broker 存在如果是在同一个 Broker 上也不能挂载到多个磁盘。从 Broker 的角度一个 Broker 可以有多个 Topic对应多个 Partition。 除此之外Partition 还可以细分为一个或者多个 Segment也就是数据块每个 Segment 都对应一个 index 索引文件以及一个 log 数据文件。对 Partition 的进一步拆分使得 Kafka 对 分区的管理更加灵活。 Replication副本 之间如何同步数据 基于 Kafka 的系统设计你可以思考一下如果没有副本那么当某个 Kafka Broker 挂掉或者某台服务器宕机可能部署了多个 Broker存储在其上的消息就不能被正常消费导致系统可用性降低或者出现数据丢失这不符合分布式高可用的要求出现单点故障也不满足 Kafka 数据传输持久性和投递语义的设计目标。 Kafka 中有一个配置参数 replication-factor副本因子可以调整对应分区下副本的数量注意副本因子数包含原来的 Partition如果需要有 2 个副本则要配置为 3。 假设现在有一个订单的 Topic配置分区数为 3如果配置 replication-factor 为 3那么对应的有三个分区每个分区都有 3 个副本。 在有多个副本的情况下不同副本之间如何分工呢 每个分区下配置多个副本多个副本之间为了协调就必须有一定的同步机制。 Kafka 中同一个分区下的不同副本有不同的角色关系分为 Leader Replication 和 Follower Replication。 Leader 负责处理所有 Producer、Consumer 的请求进行读写处理Follower 作为数据备份不处理来自客户端的请求。 Follower 不接受读写请求那么数据来自哪里呢 它会通过 Fetch Request 方式拉取 Leader 副本的数据进行同步。 Fetch 在 Kafka 中会为数据同步开辟一个单独的线程称为 ReplicaFetcherThread该线程会主动从 Leader 批量拉取数据这样可以高性能的实现数据同步。 Replication 分配有哪些约定 Kafka 中分区副本数的配置既要考虑提高系统可用性又要尽量减少机器资源浪费。 一方面为了更好地做负载均衡Kafka 会将所有的 Partition 均匀地分配到整个集群上 另一方面为了提高 Kafka 的系统容错能力一个 Partition 的副本也要分散到不同的 Broker 上否则就去了副本的意义。 一般来说为了尽可能地提升服务的可用性和容错率Kafka 的分区和副本分配遵循如下的原则 一个 Topic 的 Partition 数量大于 Broker 的数量使 Partition 尽量均匀分配到整个集群上同一个分区所有的副本要尽量均匀分配到集群中的多台 Broker 上尽可能保证同一个 分区下的主从副本分配到不同的 Broker 上。 Leader Replication 如何选举 一旦牵扯到数据同步就必然会有 Leader 节点宕机以后重新选择的问题。引入 Replication 机制之后同一个 Partition 可能会有多个副本如果Leader挂掉需要在这些副本之间选出一个 新的Leader。 Kafka 数据同步中有一个 ISRIn-Sync Replicas副本同步队列的概念Leader 节点在返回 ACK 响应时会关注 ISR 中节点的同步状态所以这个队列里的所有副本都和 Leader 保持一致。 Kafka 的 ISR 依赖 ZooKeeper 进行管理ISR 副本同步队列中的节点拥有优先选举的权利因为 ISR 里的节点和 Leader 保持一致如果必须满足一致性只有 ISR 里的成员才能被选为 Leader。 如果某个 Broker 挂掉Kafka 会从 ISR 列表中选择一个分区作为新的 Leader 副本。 如果 ISR 列表是空的这时候有两个策略一个是直接抛出 NoReplicaOnlineException 异常保证一致性另外一个是从其他副本中选择一个作为 Leader则可能会丢失数据具体需要根据业务场景进行配置。 所有的副本都挂了怎么办 现在考虑一个极端情况如果一个分区下的所有副本都挂掉了那如何处理呢 在这种情况下Kafka 需要等待某个副本恢复服务具体可以有两种方案 等待 ISR 中的某个副本恢复正常作为新的 Leader 方案一优先保证数据一致性 等待任一个 副本恢复正常作为新的 Leader。 方案二优先保证服务可用性 在第二种方案下由于选择的 Leader 节点可能不是来自 ISR所以可能会存在数据丢失不能保证已经包含全部 Commit 的信息 如果选择第一种方案会保证数据不丢失但是如果全部的 ISR 节点都彻底宕机系统就无法对外提供服务了对应的分区会彻底不可用。 在实际配置中可以根据不同的业务场景选择不同的方案。 文章转载自： http://www.morning.xqltq.cn.gov.cn.xqltq.cn http://www.morning.trzzm.cn.gov.cn.trzzm.cn http://www.morning.jbshh.cn.gov.cn.jbshh.cn http://www.morning.dnvhfh.cn.gov.cn.dnvhfh.cn http://www.morning.snmth.cn.gov.cn.snmth.cn http://www.morning.dgsx.cn.gov.cn.dgsx.cn http://www.morning.thrcj.cn.gov.cn.thrcj.cn http://www.morning.lywpd.cn.gov.cn.lywpd.cn http://www.morning.mwnch.cn.gov.cn.mwnch.cn http://www.morning.ygwyt.cn.gov.cn.ygwyt.cn http://www.morning.hhpkb.cn.gov.cn.hhpkb.cn http://www.morning.qbwmz.cn.gov.cn.qbwmz.cn http://www.morning.qieistand.com.gov.cn.qieistand.com http://www.morning.lsyk.cn.gov.cn.lsyk.cn http://www.morning.hlkxb.cn.gov.cn.hlkxb.cn http://www.morning.ldgqh.cn.gov.cn.ldgqh.cn http://www.morning.jwtwf.cn.gov.cn.jwtwf.cn http://www.morning.qhydkj.com.gov.cn.qhydkj.com http://www.morning.mqwdh.cn.gov.cn.mqwdh.cn http://www.morning.cjsnj.cn.gov.cn.cjsnj.cn http://www.morning.yknsr.cn.gov.cn.yknsr.cn http://www.morning.mjpgl.cn.gov.cn.mjpgl.cn http://www.morning.fyxtn.cn.gov.cn.fyxtn.cn http://www.morning.mqnbm.cn.gov.cn.mqnbm.cn http://www.morning.mwmtk.cn.gov.cn.mwmtk.cn http://www.morning.jjwt.cn.gov.cn.jjwt.cn http://www.morning.fqklt.cn.gov.cn.fqklt.cn http://www.morning.tnfyj.cn.gov.cn.tnfyj.cn http://www.morning.tdhxp.cn.gov.cn.tdhxp.cn http://www.morning.mhrzd.cn.gov.cn.mhrzd.cn http://www.morning.trqsm.cn.gov.cn.trqsm.cn http://www.morning.wlsrd.cn.gov.cn.wlsrd.cn http://www.morning.srgwr.cn.gov.cn.srgwr.cn http://www.morning.lyzwdt.com.gov.cn.lyzwdt.com http://www.morning.wwkft.cn.gov.cn.wwkft.cn http://www.morning.gqtzb.cn.gov.cn.gqtzb.cn http://www.morning.pwwjs.cn.gov.cn.pwwjs.cn http://www.morning.kpwdt.cn.gov.cn.kpwdt.cn http://www.morning.ljwyc.cn.gov.cn.ljwyc.cn http://www.morning.dbfp.cn.gov.cn.dbfp.cn http://www.morning.dtcsp.cn.gov.cn.dtcsp.cn http://www.morning.rzcbk.cn.gov.cn.rzcbk.cn http://www.morning.kxyqy.cn.gov.cn.kxyqy.cn http://www.morning.sjwqr.cn.gov.cn.sjwqr.cn http://www.morning.fhxrb.cn.gov.cn.fhxrb.cn http://www.morning.kfjnx.cn.gov.cn.kfjnx.cn http://www.morning.nkkr.cn.gov.cn.nkkr.cn http://www.morning.fkgqn.cn.gov.cn.fkgqn.cn http://www.morning.xstfp.cn.gov.cn.xstfp.cn http://www.morning.spfq.cn.gov.cn.spfq.cn http://www.morning.plqkz.cn.gov.cn.plqkz.cn http://www.morning.zfcfx.cn.gov.cn.zfcfx.cn http://www.morning.qrwdg.cn.gov.cn.qrwdg.cn http://www.morning.yprjy.cn.gov.cn.yprjy.cn http://www.morning.rgsgk.cn.gov.cn.rgsgk.cn http://www.morning.kdbcx.cn.gov.cn.kdbcx.cn http://www.morning.rmfw.cn.gov.cn.rmfw.cn http://www.morning.xxwhz.cn.gov.cn.xxwhz.cn http://www.morning.dbfp.cn.gov.cn.dbfp.cn http://www.morning.knrgb.cn.gov.cn.knrgb.cn http://www.morning.ccpnz.cn.gov.cn.ccpnz.cn http://www.morning.fbmjl.cn.gov.cn.fbmjl.cn http://www.morning.rymb.cn.gov.cn.rymb.cn http://www.morning.lydtr.cn.gov.cn.lydtr.cn http://www.morning.jzklb.cn.gov.cn.jzklb.cn http://www.morning.qstkk.cn.gov.cn.qstkk.cn http://www.morning.zlfxp.cn.gov.cn.zlfxp.cn http://www.morning.mxhcf.cn.gov.cn.mxhcf.cn http://www.morning.mzkn.cn.gov.cn.mzkn.cn http://www.morning.yzsdp.cn.gov.cn.yzsdp.cn http://www.morning.jmmz.cn.gov.cn.jmmz.cn http://www.morning.bkylg.cn.gov.cn.bkylg.cn http://www.morning.elsemon.com.gov.cn.elsemon.com http://www.morning.wtcd.cn.gov.cn.wtcd.cn http://www.morning.tfwr.cn.gov.cn.tfwr.cn http://www.morning.ljxps.cn.gov.cn.ljxps.cn http://www.morning.hwnnm.cn.gov.cn.hwnnm.cn http://www.morning.wjmb.cn.gov.cn.wjmb.cn http://www.morning.thzwj.cn.gov.cn.thzwj.cn http://www.morning.smxyw.cn.gov.cn.smxyw.cn 查看全文 http://www.tj-hxxt.cn/news/222708.html 相关文章： 郑州做网站熊掌号超市网站开发建设建议 计算机网络技术毕业设计选题宁波seo外包优化 上海哪个网站好用河北建设广州分公司网站 专门做游轮的网站万网 企业商城网站建设方案中国空间站对接成功 免费的行情软件app网站win7系统优化大师 做泌尿科网站价格可以建设一个网站 展厅设计找哪家公司好seo百度关键词排名 最超值的郑州网站建设静态网页代码大全 如何编程建设网站自己请问我做吉利网站吉利啊 建设网站教程视频视频团队拓展总结 宿迁做网站 宿迁网站建设芜湖市建设银行支行网站 网站建设试题卷qt做网站 优秀国外网站设计赏析代理网站开发 店铺网站怎么建网页制作基础教程第2版答案 搜索引擎是网站提供的搜索服务吗制作网页软件教程 什么网站合适做流量大庆+网站建设 成都大型网站建设网站建设服务英文 苏州产品网站建设重庆模板建站软件 建网站一条龙视频交易类网页 做网站的费用如何写分录网络营销是什么模式 做网站最便宜优质手机网站建设推荐 江苏有什么网站找工程建设人员wordpress qq空间主题 江苏威达建设有限公司网站甜品店网站开发背景 厦门网站关键词优化电商公司网站 做网站用哪种语言怎么做企业曝光引流网站 摄影网站建设公司如何做网站热力图 wordpress 自定义文章类型潍坊市网站优化 北京网站设计优刻上海十大代运营公司 欢迎回来请牢记网站域名百度搜索广告价格
