当前位置： 首页 > news >正文 北京网站快速排名优化免费做deal的网站 news 2025/10/22 15:10:10 北京网站快速排名优化,免费做deal的网站,物流网站建设方案范文,成都市建设监理协会网站分析回答 Flink Web UI 自带的反压监控 —— 直接方式 Flink Web UI 的反压监控提供了 Subtask 级别的反压监控。监控的原理是通过Thread.getStackTrace() 采集在 TaskManager 上正在运行的所有线程#xff0c;收集在缓冲区请求中阻塞的线程数#xff08;意味着下游阻…分析回答 Flink Web UI 自带的反压监控 —— 直接方式 Flink Web UI 的反压监控提供了 Subtask 级别的反压监控。监控的原理是通过Thread.getStackTrace() 采集在 TaskManager 上正在运行的所有线程收集在缓冲区请求中阻塞的线程数意味着下游阻塞并计算缓冲区阻塞线程数与总线程数的比值 rate。其中rate 0.1 为 OK0.1 rate 0.5 为 LOWrate 0.5 为 HIGH。 Web UI 反压监控 以下两种场景可能导致反压 该节点发送速率跟不上它的产生数据速率。该场景一般是单输入多输出的算子例如FlatMap。定位手段是因为这是从 Source Task 到 Sink Task 的第一个出现反压的节点所以该节点是反压的根源节点。下游的节点处理数据的速率较慢通过反压限制了该节点的发送速率。定位手段是从该节点开始继续排查下游节点。 注意事项 因为Flink Web UI 反压面板是监控发送端的所以反压的根源节点并不一定会在反压面板体现出高反压。如果某个节点是性能瓶颈并不会导致它本身出现高反压而是导致它的上游出现高反压。总体来看如果找到第一个出现反压的节点则反压根源是这个节点或者是它的下游节点。通过反压面板无法区分上述两种状态需要结合 Metrics 等监控手段来定位。如果作业的节点数很多或者并行度很大即需要采集所有 Task 的栈信息反压面板的压力也会很大甚至不可用 。 Flink Task Metrics —— 间接方式 1回顾 Flink Credit-based 网络 Flink Credit-Based 网络 ① TaskManager 之间的数据传输 不同的 TaskManager 上的两个 Subtask 通常情况下channel 数量等于分组 key 的数量或者等于算子并发度。这些 channel 会复用同一个 TaskManager 进程的 TCP 请求并且共享接收端 Subtask 级别的 Buffer Pool。 ② 接收端 每个 channel 在初始阶段会被分配固定数量的独享 Exclusive Buffer用于存储接收到的数据。算子 Operator 使用后再次释放 Exclusive Buffer。说明channel 接收端空闲的 Buffer 数量称为 CreditCredit 会被定时同步给发送端用于决定发送多少个 Buffer 的数据。 ③ 流量较大的场景 接收端channel 写满 Exclusive Buffer 后Flink 会向 Buffer Pool 申请剩余的 Floating Buffer。发送端一个 Subtask 所有的 Channel 会共享同一个 Buffer Pool因此不区分 Exclusive Buffer 和 Floating Buffer。 2Flink Task Metrics 监控反压 Network和 task I/Ometrics 是轻量级反压监视器用于正在持续运行的作业其中一下几个 metrics 是最有用的反压指标。 metrics反压指标 采用 Metrics 分析反压的思路如果一个 Subtask 的发送端 Buffer 占用率很高则表明它被下游反压限速了如果一个 Subtask 的接受端 Buffer 占用很高则表明它将反压传导至上游。 inPoolUsage和outPoolUsage反压分析表 解释 ① outPoolUsage 和 inPoolUsage 同为低表明当前 Subtask 是正常的同为高分别表明当前 Subtask 被下游反压。 ② 如果一个 Subtask 的 outPoolUsage 是高通常是被下游 Task 所影响所以可以排查它本身是反压根源的可能性。 ③ 如果一个 Subtask 的 outPoolUsage 是低但其 inPoolUsage 是高则表明它有可能是反压的根源。因为通常反压会传导至其上游导致上游某些 Subtask 的 outPoolUsage 为高。 注意反压有时是短暂的且影响不大比如来自某个 channel 的短暂网络延迟或者 TaskManager 的正常 GC这种情况下可以不用处理。 下表把 inPoolUsage 分为 floatingBuffersUsage 和 exclusiveBuffersUsage并且总结上游 Task outPoolUsage 与 floatingBuffersUsage 、 exclusiveBuffersUsage 的关系进一步的分析一个 Subtask 和其上游 Subtask 的反压情况。 正在上传…重新上传取消 outPoolUsage 与 floatingBuffersUsage 、 exclusiveBuffersUsage 的关系表 floatingBuffersUsage 为高则表明反压正在传导至上游。exclusiveBuffersUsage 则表明了反压可能存在倾斜。如果floatingBuffersUsage 高、exclusiveBuffersUsage 低则存在倾斜。因为少数 channel 占用了大部分的 floating Bufferchannel 有自己的 exclusive buffer当 exclusive buffer 消耗完就会使用floating Buffer。 3 Flink 如何分析反压 上述主要通过 TaskThread 定位反压而分析反压原因类似一个普通程序的性能瓶颈。 1数据倾斜 通过 Web UI 各个 SubTask 的 Records Sent 和 Record Received 来确认另外 Checkpoint detail 里不同 SubTask 的 State size 也是一个分析数据倾斜的有用指标。解决方式把数据分组的 key 进行本地/预聚合来消除/减少数据倾斜。 2用户代码的执行效率 对 TaskManager 进行 CPU profile分析 TaskThread 是否跑满一个 CPU 核如果没有跑满需要分析 CPU 主要花费在哪些函数里面比如生产环境中偶尔会卡在 Regex 的用户函数ReDoS如果没有跑满需要看 Task Thread 阻塞在哪里可能是用户函数本身有些同步的调用可能是 checkpoint 或者 GC 等系统活动。 3TaskManager 的内存以及 GC TaskManager JVM 各区内存不合理导致的频繁 Full GC 甚至失联。可以加上 -XX:PrintGCDetails 来打印 GC 日志的方式来观察 GC 的问题。推荐TaskManager 启用 G1 垃圾回收器来优化 GC。 喵呜面试助手一站式解决面试问题你可以搜索微信小程序 [喵呜面试助手] 或关注 [喵呜刷题] - 面试助手 免费刷题。如有好的面试知识或技巧期待您的共享 文章转载自： http://www.morning.gnghp.cn.gov.cn.gnghp.cn http://www.morning.jypqx.cn.gov.cn.jypqx.cn http://www.morning.aishuxue.com.cn.gov.cn.aishuxue.com.cn http://www.morning.jrbyz.cn.gov.cn.jrbyz.cn http://www.morning.pqppj.cn.gov.cn.pqppj.cn http://www.morning.lpnpn.cn.gov.cn.lpnpn.cn http://www.morning.bxgpy.cn.gov.cn.bxgpy.cn http://www.morning.zztmk.cn.gov.cn.zztmk.cn http://www.morning.dmnqh.cn.gov.cn.dmnqh.cn http://www.morning.lhjmq.cn.gov.cn.lhjmq.cn http://www.morning.nfzw.cn.gov.cn.nfzw.cn http://www.morning.bksbx.cn.gov.cn.bksbx.cn http://www.morning.drnfc.cn.gov.cn.drnfc.cn http://www.morning.hchrb.cn.gov.cn.hchrb.cn http://www.morning.bwygy.cn.gov.cn.bwygy.cn http://www.morning.wpmlp.cn.gov.cn.wpmlp.cn http://www.morning.smj78.cn.gov.cn.smj78.cn http://www.morning.fxjnn.cn.gov.cn.fxjnn.cn http://www.morning.ysjjr.cn.gov.cn.ysjjr.cn http://www.morning.qkskm.cn.gov.cn.qkskm.cn http://www.morning.mtsck.cn.gov.cn.mtsck.cn http://www.morning.gjlst.cn.gov.cn.gjlst.cn http://www.morning.rwrn.cn.gov.cn.rwrn.cn http://www.morning.kljhr.cn.gov.cn.kljhr.cn http://www.morning.kqzxk.cn.gov.cn.kqzxk.cn http://www.morning.qsbcg.cn.gov.cn.qsbcg.cn http://www.morning.nldsd.cn.gov.cn.nldsd.cn http://www.morning.wmmtl.cn.gov.cn.wmmtl.cn http://www.morning.ypcbm.cn.gov.cn.ypcbm.cn http://www.morning.bpds.cn.gov.cn.bpds.cn http://www.morning.dbrpl.cn.gov.cn.dbrpl.cn http://www.morning.cplym.cn.gov.cn.cplym.cn http://www.morning.nbmyg.cn.gov.cn.nbmyg.cn http://www.morning.dhxnr.cn.gov.cn.dhxnr.cn http://www.morning.tldhq.cn.gov.cn.tldhq.cn http://www.morning.rbmnq.cn.gov.cn.rbmnq.cn http://www.morning.frcxx.cn.gov.cn.frcxx.cn http://www.morning.qxmpp.cn.gov.cn.qxmpp.cn http://www.morning.rymb.cn.gov.cn.rymb.cn http://www.morning.nfsrs.cn.gov.cn.nfsrs.cn http://www.morning.gmmyn.cn.gov.cn.gmmyn.cn http://www.morning.brxzt.cn.gov.cn.brxzt.cn http://www.morning.zhffz.cn.gov.cn.zhffz.cn http://www.morning.mfsjn.cn.gov.cn.mfsjn.cn http://www.morning.jlrym.cn.gov.cn.jlrym.cn http://www.morning.kscwt.cn.gov.cn.kscwt.cn http://www.morning.xctdn.cn.gov.cn.xctdn.cn http://www.morning.slfmp.cn.gov.cn.slfmp.cn http://www.morning.lgsqy.cn.gov.cn.lgsqy.cn http://www.morning.wnkqt.cn.gov.cn.wnkqt.cn http://www.morning.mjglk.cn.gov.cn.mjglk.cn http://www.morning.qqbjt.cn.gov.cn.qqbjt.cn http://www.morning.srky.cn.gov.cn.srky.cn http://www.morning.pndhh.cn.gov.cn.pndhh.cn http://www.morning.pxbrg.cn.gov.cn.pxbrg.cn http://www.morning.rymd.cn.gov.cn.rymd.cn http://www.morning.ddtdy.cn.gov.cn.ddtdy.cn http://www.morning.wjlrw.cn.gov.cn.wjlrw.cn http://www.morning.ppbqz.cn.gov.cn.ppbqz.cn http://www.morning.ryrpq.cn.gov.cn.ryrpq.cn http://www.morning.yqsr.cn.gov.cn.yqsr.cn http://www.morning.bcngs.cn.gov.cn.bcngs.cn http://www.morning.frpb.cn.gov.cn.frpb.cn http://www.morning.kxbdm.cn.gov.cn.kxbdm.cn http://www.morning.xbwqg.cn.gov.cn.xbwqg.cn http://www.morning.mhsmj.cn.gov.cn.mhsmj.cn http://www.morning.tcylt.cn.gov.cn.tcylt.cn http://www.morning.kttbx.cn.gov.cn.kttbx.cn http://www.morning.4q9h.cn.gov.cn.4q9h.cn http://www.morning.rnribht.cn.gov.cn.rnribht.cn http://www.morning.xsqbx.cn.gov.cn.xsqbx.cn http://www.morning.ntlxg.cn.gov.cn.ntlxg.cn http://www.morning.xbkcr.cn.gov.cn.xbkcr.cn http://www.morning.pmlgr.cn.gov.cn.pmlgr.cn http://www.morning.dxtxk.cn.gov.cn.dxtxk.cn http://www.morning.rqjl.cn.gov.cn.rqjl.cn http://www.morning.slqgl.cn.gov.cn.slqgl.cn http://www.morning.sjli222.cn.gov.cn.sjli222.cn http://www.morning.mcndn.cn.gov.cn.mcndn.cn http://www.morning.pbzgj.cn.gov.cn.pbzgj.cn 查看全文 http://www.tj-hxxt.cn/news/239983.html 相关文章： 找个人制作网页的网站网红营销推广 只做百度移动端网站可以吗软件推广兼职可以做吗 南宁网站定制开发南京小程序设计制作 网站建设与维护里面的个人简历网站架构思维导图 广西住房城乡建设网站长春网络公司问询垚鑫科技 建立网站商城建议沈阳seo关键词排名优化软件 洛阳设计网站公司网站左侧导航栏设计 网站怎么做链接网站入口类型 哪家云服务器性价比高拼多多关键词怎么优化 网站关键词布局图phpcms获取网站访问量 盐地网站建设公司什么免费推广网站好 如何用织梦猫做网站和后台做网站是干嘛的 国外高端网站网站修改dns 浙江电商网站建设销售杭州网站优化公司 怎么创建网站 免费的网站怎么做商家定位 新开家政如何做网站网站页头图片 深圳网站设计公司排名榜微网站怎么注册 网站建设泉州效率网络ps制作网站导航图片 光山网站建设冻品网站的建设背景 网站ui设计师招聘logo设计网站平台 确定网站的主题与风格成都又出现新增病例了 简述网站的四种常见结构抖音代运营联系方式 动漫网站设计的目的济南建筑公司实力排名 网站建设 资质要求网络 网站建设办公 郑州一建劳务有限公司广州网站优化方案 做外贸英语要什么网站成都住建局官网站首页 网站建设在线学习网页设计类官网 seo论坛站长交流深圳招聘平台有哪些 北京网站建站公校园网站建设素材 一个网站项目开发流程wordpress小工具位置
