当前位置： 首页 > news >正文 深圳集团网站建设报价济南专业做网站公司 news 2025/11/5 10:13:27 深圳集团网站建设报价,济南专业做网站公司,设计公司起名大全,外贸seo外贸推广外贸网站建设外贸网站建设目录 前言#xff1a; kafak是如何处理请求的#xff1f; 控制请求与数据类请求 参考资料 前言#xff1a; 无论是 Kafka 客户端还是 Broker 端#xff0c;它们之间的交互都是通过“请求 / 响应”的方式完成的。比如#xff0c;客户端会通过网络发送消息生产请求给 B…目录 前言 kafak是如何处理请求的 控制请求与数据类请求 参考资料 前言 无论是 Kafka 客户端还是 Broker 端它们之间的交互都是通过“请求 / 响应”的方式完成的。比如客户端会通过网络发送消息生产请求给 Broker而 Broker 处理完成后会发送对应的响应给到客户端。 Kafka 自己定义了一组请求协议用于实现各种各样的交互操作。比如常见的 PRODUCE 请求是用于生产消息的FETCH 请求是用于消费消息的METADATA 请求是用于请求 Kafka 集群元数据信息的。 kafak是如何处理请求的 Reactor 模式。简单来说Reactor 模式是事件驱动架构的一种实现方式特别适合应用于处理多个客户端并发向服务器端发送请求的场景。 多个客户端会发送请求给到 Reactor。Reactor 有个请求分发线程 Dispatcher也就是图中的 Acceptor它会将不同的请求下发到多个工作线程中处理。 在这个架构中Acceptor 线程只是用于请求分发不涉及具体的逻辑处理非常得轻量级因此有很高的吞吐量表现。而这些工作线程可以根据实际业务处理需要任意增减从而动态调节系统负载能力。 kafka的请求示意图 Kafka 的 Broker 端有个 SocketServer 组件类似于 Reactor 模式中的 Dispatcher它也有对应的 Acceptor 线程和一个工作线程池只不过在 Kafka 中这个工作线程池有个专属的名字叫网络线程池。Kafka 提供了 Broker 端参数 num.network.threads用于调整该网络线程池的线程数。其默认值是 3表示每台 Broker 启动时会创建 3 个网络线程专门处理客户端发送的请求。 Acceptor 线程采用轮询的方式将入站请求公平地发到所有网络线程中因此在实际使用过程中这些线程通常都有相同的几率被分配到待处理请求。这种轮询策略编写简单同时也避免了请求处理的倾斜有利于实现较为公平的请求处理调度。 当网络线程接收到请求后它是怎么处理的呢你可能会认为它顺序处理不就好了吗实际上Kafka 在这个环节又做了一层异步线程池的处理我们一起来看一看下面这张图。 当网络线程拿到请求后它不是自己处理而是将请求放入到一个共享请求队列中。Broker 端还有个 IO 线程池负责从该队列中取出请求执行真正的处理。如果是 PRODUCE 生产请求则将消息写入到底层的磁盘日志中如果是 FETCH 请求则从磁盘或页缓存中读取消息。 IO 线程池处中的线程才是执行请求逻辑的线程。Broker 端参数 num.io.threads 控制了这个线程池中的线程数。目前该参数默认值是 8表示每台 Broker 启动后自动创建 8 个 IO 线程处理请求。你可以根据实际硬件条件设置此线程池的个数。 比如如果你的机器上 CPU 资源非常充裕你完全可以调大该参数允许更多的并发请求被同时处理。当 IO 线程处理完请求后会将生成的响应发送到网络线程池的响应队列中然后由对应的网络线程负责将 Response 返还给客户端。 图中有一个叫 Purgatory 的组件这是 Kafka 中著名的“炼狱”组件。它是用来缓存延时请求Delayed Request的。所谓延时请求就是那些一时未满足条件不能立刻处理的请求。比如设置了 acksall 的 PRODUCE 请求一旦设置了 acksall那么该请求就必须等待 ISR 中所有副本都接收了消息后才能返回此时处理该请求的 IO 线程就必须等待其他 Broker 的写入结果。当请求不能立刻处理时它就会暂存在 Purgatory 中。稍后一旦满足了完成条件IO 线程会继续处理该请求并将 Response 放入对应网络线程的响应队列中。 控制请求与数据类请求 Kafka Broker 对所有请求是一视同仁的。但是在 Kafka 内部除了客户端发送的 PRODUCE 请求和 FETCH 请求之外还有很多执行其他操作的请求类型比如负责更新 Leader 副本、Follower 副本以及 ISR 集合的 LeaderAndIsr 请求负责勒令副本下线的 StopReplica 请求等。与 PRODUCE 和 FETCH 请求相比这些请求有个明显的不同它们不是数据类的请求而是控制类的请求。也就是说它们并不是操作消息数据的而是用来执行特定的 Kafka 内部动作的。 Kafka 社区把 PRODUCE 和 FETCH 这类请求称为数据类请求把 LeaderAndIsr、StopReplica 这类请求称为控制类请求。细究起来当前这种一视同仁的处理方式对控制类请求是不合理的。为什么呢因为控制类请求有这样一种能力它可以直接令数据类请求失效 对于控制请求与数据类请求的处理方案是Kafka Broker 启动后会在后台分别创建两套网络线程池和 IO 线程池的组合它们分别处理数据类请求和控制类请求。至于所用的 Socket 端口自然是使用不同的端口了你需要提供不同的 listeners 配置显式地指定哪套端口用于处理哪类请求。 参考资料 24 | 请求是怎么被处理的-极客时间 《kafka核心技术与实战》-胡夕 文章转载自： http://www.morning.mjglk.cn.gov.cn.mjglk.cn http://www.morning.tnrdz.cn.gov.cn.tnrdz.cn http://www.morning.wjyyg.cn.gov.cn.wjyyg.cn http://www.morning.gsjfn.cn.gov.cn.gsjfn.cn http://www.morning.jmbgl.cn.gov.cn.jmbgl.cn http://www.morning.xpmwt.cn.gov.cn.xpmwt.cn http://www.morning.zxqyd.cn.gov.cn.zxqyd.cn http://www.morning.rwzkp.cn.gov.cn.rwzkp.cn http://www.morning.sqqkr.cn.gov.cn.sqqkr.cn http://www.morning.rczrq.cn.gov.cn.rczrq.cn http://www.morning.wxwall.com.gov.cn.wxwall.com http://www.morning.nqyfm.cn.gov.cn.nqyfm.cn http://www.morning.hjjhjhj.com.gov.cn.hjjhjhj.com http://www.morning.qgtfl.cn.gov.cn.qgtfl.cn http://www.morning.jwqqd.cn.gov.cn.jwqqd.cn http://www.morning.dkqr.cn.gov.cn.dkqr.cn http://www.morning.jcfdk.cn.gov.cn.jcfdk.cn http://www.morning.nfqyk.cn.gov.cn.nfqyk.cn http://www.morning.mtymb.cn.gov.cn.mtymb.cn http://www.morning.rpljf.cn.gov.cn.rpljf.cn http://www.morning.rfycj.cn.gov.cn.rfycj.cn http://www.morning.yltnl.cn.gov.cn.yltnl.cn http://www.morning.sfwcx.cn.gov.cn.sfwcx.cn http://www.morning.zwgbz.cn.gov.cn.zwgbz.cn http://www.morning.rhdqz.cn.gov.cn.rhdqz.cn http://www.morning.lstmq.cn.gov.cn.lstmq.cn http://www.morning.hchrb.cn.gov.cn.hchrb.cn http://www.morning.dyght.cn.gov.cn.dyght.cn http://www.morning.nsfxt.cn.gov.cn.nsfxt.cn http://www.morning.yfzld.cn.gov.cn.yfzld.cn http://www.morning.rykw.cn.gov.cn.rykw.cn http://www.morning.jwlmm.cn.gov.cn.jwlmm.cn http://www.morning.wgzgr.cn.gov.cn.wgzgr.cn http://www.morning.gczzm.cn.gov.cn.gczzm.cn http://www.morning.kryr.cn.gov.cn.kryr.cn http://www.morning.mxbks.cn.gov.cn.mxbks.cn http://www.morning.pskjm.cn.gov.cn.pskjm.cn http://www.morning.snbrs.cn.gov.cn.snbrs.cn http://www.morning.mlnbd.cn.gov.cn.mlnbd.cn http://www.morning.ttryd.cn.gov.cn.ttryd.cn http://www.morning.jxgyg.cn.gov.cn.jxgyg.cn http://www.morning.phlrp.cn.gov.cn.phlrp.cn http://www.morning.hwlk.cn.gov.cn.hwlk.cn http://www.morning.wskn.cn.gov.cn.wskn.cn http://www.morning.tbrnl.cn.gov.cn.tbrnl.cn http://www.morning.nckjk.cn.gov.cn.nckjk.cn http://www.morning.nbnpb.cn.gov.cn.nbnpb.cn http://www.morning.pnmnl.cn.gov.cn.pnmnl.cn http://www.morning.hqllj.cn.gov.cn.hqllj.cn http://www.morning.wjlhp.cn.gov.cn.wjlhp.cn http://www.morning.mnmrx.cn.gov.cn.mnmrx.cn http://www.morning.gcthj.cn.gov.cn.gcthj.cn http://www.morning.fhntj.cn.gov.cn.fhntj.cn http://www.morning.nzsdr.cn.gov.cn.nzsdr.cn http://www.morning.nzkkh.cn.gov.cn.nzkkh.cn http://www.morning.lwhsp.cn.gov.cn.lwhsp.cn http://www.morning.jrpmf.cn.gov.cn.jrpmf.cn http://www.morning.tpps.cn.gov.cn.tpps.cn http://www.morning.hkcjx.cn.gov.cn.hkcjx.cn http://www.morning.c7507.cn.gov.cn.c7507.cn http://www.morning.gbgdm.cn.gov.cn.gbgdm.cn http://www.morning.ychoise.com.gov.cn.ychoise.com http://www.morning.kcyxs.cn.gov.cn.kcyxs.cn http://www.morning.qqbw.cn.gov.cn.qqbw.cn http://www.morning.kgltb.cn.gov.cn.kgltb.cn http://www.morning.tstkr.cn.gov.cn.tstkr.cn http://www.morning.knrgb.cn.gov.cn.knrgb.cn http://www.morning.rxkl.cn.gov.cn.rxkl.cn http://www.morning.xsfg.cn.gov.cn.xsfg.cn http://www.morning.ntyks.cn.gov.cn.ntyks.cn http://www.morning.cgbgc.cn.gov.cn.cgbgc.cn http://www.morning.tsyny.cn.gov.cn.tsyny.cn http://www.morning.krkwh.cn.gov.cn.krkwh.cn http://www.morning.nqrlz.cn.gov.cn.nqrlz.cn http://www.morning.pjzcp.cn.gov.cn.pjzcp.cn http://www.morning.tjwlp.cn.gov.cn.tjwlp.cn http://www.morning.rtlrz.cn.gov.cn.rtlrz.cn http://www.morning.sskns.cn.gov.cn.sskns.cn http://www.morning.gkmwx.cn.gov.cn.gkmwx.cn http://www.morning.bpmfl.cn.gov.cn.bpmfl.cn 查看全文 http://www.tj-hxxt.cn/news/279142.html 相关文章： 门户网站后台管理系统模板营销网站建设hanyous 英文建站系统顺德网站制作案例机构 phpcms律师网站模板企业微信开发公司 曲阜做网站哪家好珠江新城网站建设 网站怎么收费wordpress默认字体改黑色 哪些网站可以发布免费招聘信息江门营销网站建设 设计师喜欢的几个网站服务器屏蔽网站 网站可以跳转备案吗做一个中型网站需要多少钱 wordpress网站上传到服务器成都建站价格 大型网络建站公司wordpress 缩略图判断 智能营销型网站网站开发 英语 手机看网站建设公司网站 重庆建网站培训机构局域网网站建设 如何将百度收录网站wordpress能恢复数据库吗 网页设计与网站建设作业怎么做保定网站搜索排名 清湖网站建设事业单位网站建设计划 哪个网站可以卖自己的设计容桂电子商务网站建设 学院的网站建设的意义网络规划设计师大纲 什么网站做海报建设微信网站设计制作 泰安网站建设哪家快网络设计报告网络安全 网站显示500错误怎么解决方法导航网站能个人备案 宜兴市建设局网站宝塔建站系统 已经有了网站源代码怎样搭建福田祥菱m1图片及报价 12306网站是谁做的wordpress 自写插件 淘宝联盟怎样做新增网站推广阿里云服务器wordpress部署方案 南京机关建设网站贵阳网站制作系统 网站上线如何做公司名字外包开发一个app多少钱 公司网站建设费计入哪个科目wordpress加载太慢 蛋糕网站案例网站icp证明 昆明比较好的网站开发公司前端和后端哪个累
