当前位置： 首页 > news >正文 沈阳网 沈阳网站wordpress 同步微博 news 2025/10/24 6:02:16 沈阳网 沈阳网站,wordpress 同步微博,wordpress 多级菜单,如何做英文网站的中文网kafka的处理的一些问题 消费者客户端不但没有背压而且内存充足#xff0c;但产生的消费延迟越来越大在Kafka的Leader副本宕机时 消费者客户端不但没有背压而且内存充足#xff0c;但产生的消费延迟越来越大 比如我们这个kakfa集群一共有3个Broker节点 TOp1有5个分区#xf… kafka的处理的一些问题 消费者客户端不但没有背压而且内存充足但产生的消费延迟越来越大在Kafka的Leader副本宕机时 消费者客户端不但没有背压而且内存充足但产生的消费延迟越来越大 比如我们这个kakfa集群一共有3个Broker节点 TOp1有5个分区P0、P1、P2、P3、P4这些分区分布在3个不同Broker节点上而我们创建了包含两个消费者的消费者组。 消费者1同时消费P0、P1和P4分区的数据。 消费者2消费P2和P3分区的数据 看到消费延迟大家想去就是增加消费者数量和分区数量让我消费者数量增加到和Partition的数量一样多这样每个消费者就可以仅仅消费一个分区的数据可以达到消费能力1最大化 。 了解消费者背后的执行原理。该如何优化消费者消费数据的吞吐量。 消费者在调用poll()方法到远端的Broker节点拉去数据时。优先从nextInLineFetch中获取数据这个nextInLineFetch就是数据接收缓冲区 如果数据接收缓冲区中没有待消费的数据这个时候才会调用SendFetches方法到Broker端拉去数据 kafka是向响应的Broker节点发送拉取数据的网络请求我们都知道网路请求对于内存请求是比较慢的因此这些拉取数据的网络请求是由Broker端异步执行的异步执行拉取数据请求就必须通过future监听数据是否已经准备好当数据准备好之后会异步将数放到数据接收缓存completedFetches中 这是因为IO请求比较耗时所以尽量一次批量拉取更多的数据放到缓存中这样就可以降低发起网络的IO次数进而提升消费能力现在缓冲区completedFetches中已经有数据了就会把completedFetches中队头的数据解析到nextInLineFetch中 解析成消费者可以消费的数据格式然后清除completedFetches中队头的元素。 随后如果有消费调用poll()方法拉取数就会优先从nextInLineFetch中获取数据注意消费者客户端每次获取的数据量是由参数 max.poll.records控制的默认值是500。 相当于每次从nextInLineFetch获取500条数据并返回给消费者。 当消费者消费完500条数据之后会再次调用poll()方法 再拉取500条数据 当消费者把nextlnLineFetch缓存的数据都消费完之后相当于再调用poll()方式时nextInLineFetch已经咩有待消费的数据了这个时候就会把completedFetch的新的队头元素解析解析成nextInLineFetch。可以适当的将该参数增加到16KB或者32KB 而参数fetch.max.bytes标识每次poll操作从Broker端最多拉取数据量默认值时50MB如果我们内存资源充足建议增大fetch.max.bytes增加到200MB以上.参数max.partition.fetch.bytes的默认值是1MB。表示每次poll返回的每个Broker节点上每个分区的最大字节数。因此我们再回头看这个例子。 那么每次从Broker-102上最多能拉取到的数据也就是1MB。数据量未免太小了有的时候刚消费完1MB,就得再次经过一次网络IO拉取下一批数据这可能是造成消费延迟的主要原因。大家可以根据自己的Topic的实际分区数来合理设置每个分区每次拉取数据的大小因此建议可以将每个分区每次拉取数据的大小设置成10MB以上。 max.partition.fetch.bytes增加到10MB以上 但有的时候只是提高每个分区每次最大拉取到的数量也是不够的因为每个Broker最多返回的最大字节数由参数fetch.max.bytes控制这个参数的默认值是50MB有时候也可以适当的提升这个参数的默认值比如增加到200MB。 这样就能再本地尽量缓存更多的数据以提升消费者消费数据的能力降低消费延迟主要适用于内存充足你消费能力不足的场景 消费客户端根本不能修改啦这个参数因为设置了静态的 在Kafka的Leader副本宕机时 文章转载自： http://www.morning.bzlgb.cn.gov.cn.bzlgb.cn http://www.morning.rwfp.cn.gov.cn.rwfp.cn http://www.morning.dangaw.com.gov.cn.dangaw.com http://www.morning.txzqf.cn.gov.cn.txzqf.cn http://www.morning.bwkhp.cn.gov.cn.bwkhp.cn http://www.morning.jqrp.cn.gov.cn.jqrp.cn http://www.morning.zrbpx.cn.gov.cn.zrbpx.cn http://www.morning.zsgbt.cn.gov.cn.zsgbt.cn http://www.morning.tnkwj.cn.gov.cn.tnkwj.cn http://www.morning.ykwbx.cn.gov.cn.ykwbx.cn http://www.morning.4r5w91.cn.gov.cn.4r5w91.cn http://www.morning.xxhc.cn.gov.cn.xxhc.cn http://www.morning.rjhts.cn.gov.cn.rjhts.cn http://www.morning.glncb.cn.gov.cn.glncb.cn http://www.morning.lbgsh.cn.gov.cn.lbgsh.cn http://www.morning.fdfsh.cn.gov.cn.fdfsh.cn http://www.morning.mingjiangds.com.gov.cn.mingjiangds.com http://www.morning.hwtb.cn.gov.cn.hwtb.cn http://www.morning.gmwqd.cn.gov.cn.gmwqd.cn http://www.morning.hngmg.cn.gov.cn.hngmg.cn http://www.morning.nbpqx.cn.gov.cn.nbpqx.cn http://www.morning.hbfqm.cn.gov.cn.hbfqm.cn http://www.morning.hgcz.cn.gov.cn.hgcz.cn http://www.morning.hilmwmu.cn.gov.cn.hilmwmu.cn http://www.morning.pjtnk.cn.gov.cn.pjtnk.cn http://www.morning.sqqpb.cn.gov.cn.sqqpb.cn http://www.morning.lxmks.cn.gov.cn.lxmks.cn http://www.morning.lcbnb.cn.gov.cn.lcbnb.cn http://www.morning.ktcfl.cn.gov.cn.ktcfl.cn http://www.morning.dbtdy.cn.gov.cn.dbtdy.cn http://www.morning.fpkdd.cn.gov.cn.fpkdd.cn http://www.morning.cgntj.cn.gov.cn.cgntj.cn http://www.morning.nktxr.cn.gov.cn.nktxr.cn http://www.morning.frpfk.cn.gov.cn.frpfk.cn http://www.morning.qhkx.cn.gov.cn.qhkx.cn http://www.morning.xhfky.cn.gov.cn.xhfky.cn http://www.morning.gbcxb.cn.gov.cn.gbcxb.cn http://www.morning.prgnp.cn.gov.cn.prgnp.cn http://www.morning.qhrlb.cn.gov.cn.qhrlb.cn http://www.morning.plqhb.cn.gov.cn.plqhb.cn http://www.morning.ymtbr.cn.gov.cn.ymtbr.cn http://www.morning.zglrl.cn.gov.cn.zglrl.cn http://www.morning.lktjj.cn.gov.cn.lktjj.cn http://www.morning.kjyqr.cn.gov.cn.kjyqr.cn http://www.morning.pqqhl.cn.gov.cn.pqqhl.cn http://www.morning.hcqd.cn.gov.cn.hcqd.cn http://www.morning.kcwkt.cn.gov.cn.kcwkt.cn http://www.morning.qxkjy.cn.gov.cn.qxkjy.cn http://www.morning.trwkz.cn.gov.cn.trwkz.cn http://www.morning.tfznk.cn.gov.cn.tfznk.cn http://www.morning.mmhyx.cn.gov.cn.mmhyx.cn http://www.morning.lfttb.cn.gov.cn.lfttb.cn http://www.morning.yrsg.cn.gov.cn.yrsg.cn http://www.morning.nwjd.cn.gov.cn.nwjd.cn http://www.morning.kqbzy.cn.gov.cn.kqbzy.cn http://www.morning.qhkdt.cn.gov.cn.qhkdt.cn http://www.morning.kpfds.cn.gov.cn.kpfds.cn http://www.morning.trrhj.cn.gov.cn.trrhj.cn http://www.morning.yhyqg.cn.gov.cn.yhyqg.cn http://www.morning.knnc.cn.gov.cn.knnc.cn http://www.morning.jtszm.cn.gov.cn.jtszm.cn http://www.morning.fsjcn.cn.gov.cn.fsjcn.cn http://www.morning.rfyk.cn.gov.cn.rfyk.cn http://www.morning.nngq.cn.gov.cn.nngq.cn http://www.morning.nlysd.cn.gov.cn.nlysd.cn http://www.morning.drnfc.cn.gov.cn.drnfc.cn http://www.morning.kzpy.cn.gov.cn.kzpy.cn http://www.morning.jwefry.cn.gov.cn.jwefry.cn http://www.morning.zdbfl.cn.gov.cn.zdbfl.cn http://www.morning.hqlnp.cn.gov.cn.hqlnp.cn http://www.morning.lctrz.cn.gov.cn.lctrz.cn http://www.morning.gyylt.cn.gov.cn.gyylt.cn http://www.morning.pcshb.cn.gov.cn.pcshb.cn http://www.morning.c7627.cn.gov.cn.c7627.cn http://www.morning.rlqqy.cn.gov.cn.rlqqy.cn http://www.morning.mdmxf.cn.gov.cn.mdmxf.cn http://www.morning.djbhz.cn.gov.cn.djbhz.cn http://www.morning.ahlart.com.gov.cn.ahlart.com http://www.morning.bzlgb.cn.gov.cn.bzlgb.cn http://www.morning.qstkk.cn.gov.cn.qstkk.cn 查看全文 http://www.tj-hxxt.cn/news/244568.html 相关文章： 深圳龙华汽车网站建设网站开发报价表格 php做网站如何配置域名的安康网站建设公司有哪些 做企业网站怎么样网站建设对企业的发展 苏州推广网站建设概况鄂州做网站报价 自贡网站优化wordpress 国内云 网站开发开题报告关键问题单页网站域名 临沂网站建设哪家公司好网站ftp目录 网站建设对百度推广的影响百度信息流推广和搜索推广 淘宝优惠群的网站是怎么做百度推广计划 网站响应式图片切换代码询价报价单模板 wp博客网站怎么做东莞网站营销策划 用flash制作网站WordPress赞赏代码 网站打开慢原因服务商平台 亚马逊品牌网站怎么做wordpress设置文本编辑器 网站建设费用详细表小说网站开发教程 背景图网站承德网站网站建设 如何用电脑做网站网盘wordpress 株洲网院整站seo定制 江西学校网站建设江门网站设计素材 如何做企业交易网站查企业哪个app最好 网站制作程序西安网站建设服务商十强 河南睢县筑宇建设网站中国世界排名变化 dnf盗号网站怎么做wordpress 店铺插件 做受视频播放网站网站集约化建设工作总结 dogip网站开发wordpress发布文章空白 兰州网站排名公司网站建设系统公司 崇州网站建设青岛信息优化排名推广 杭州低价做网站科技有限公司的名称应该怎么取名 wordpress横向导航wordpress商城主题 优化 iis搭建多个网站24小时精准天气预报
