当前位置： 首页 > news >正文 红河做网站中网的官方网站 news 2025/10/28 5:01:16 红河做网站,中网的官方网站,wordpress搭建购物网站,宁波网站seo报价背景 处于业务诉求#xff0c;需要建立一个统一的调度平台#xff0c;最终是基于 Dolphinscheduler 的 V1.3.6 版本去做二次开发。在平台调研建立时#xff0c;这个版本是最新的版本 命运之轮开始转动 事故 表象 上班后业务部门反馈工作流阻塞#xff0c;登录系统发现大…背景 处于业务诉求需要建立一个统一的调度平台最终是基于 Dolphinscheduler 的 V1.3.6 版本去做二次开发。在平台调研建立时这个版本是最新的版本 命运之轮开始转动 事故 表象 上班后业务部门反馈工作流阻塞登录系统发现大量实例阻塞于 WAITTING_THREAD 状态而且有比较多定时在凌晨执行的工作流直到现在都未执行完按往常执行效率推断应该早就执行结束了。 处理 通过该状态的触发点逻辑可以找到是Master节点的问题当调度线程池活跃线程打满后续的实例都会处于WAITTING_THREAD 状态剩下就是走流程了 dump线程 dump内存 重启节点。 分析 第一个疑点 stack中发现确实有大量线程处于 BLOCKED 和 TIMED_WAITING 状态 大量线程Block于类加载 搜索后可以找到大致的原因只能说确实问题很隐晦有性能影响不过不会导致线程池拉满。 类似于Redis缓存中常会讨论的缓存穿透问题此时JVM就是缓存一堆Jar就是DBJVM不停去扫描加载Jar去找这个不存在的驱动类类加载又是同步的其他线程都得等极大影响了并发时的查询性能恰好这里线程池又拉满了线程池中的任务都是在while(true)去查库中的数据记录的工作流状态是否执行结束执行结束才会break 。 同事升级了MySQL驱动8.0导致应用大量超时druid连接池引起的线程blocked 100多个线程处于 TIMED_WAITING 通过栈可以看出都是在死循环查库等工作流实例运行结束好做收尾工作 Github 代码 那为什么工作流中的任务 无法更新状态呢导致监控任务的线程拉满监控工作流的线程池拉满 想通过分析内存的dump找到那几个线程池的状态和等待队列也没看出问题因为提交任务的时候判断了活跃线程所以等待队列是空的而且也没有异常的大对象只有一堆等待回收的ZipEntry 没错 上面频繁加载Jar去找驱动类导致的 此时就没头绪了然后在MAT里瞎逛这里看看那里点点在看对象分布时发现有些Queue实例是没有关联到线程池的而是独立存在逐个扫了下看等待的数量发现了突破口有个queue积压了很多任务此时用OQL查找效率更高 通过GCROOT看到了这个队列定义的地方和消费的逻辑。 Github 代码 emmm 这段代码怎么说呢如果是普通逻辑那唯一的问题是吞了中断的异常以及粗糙的继承Thread直接start不利于生命周期管理。 但是这里的逻辑是为了触发更新上面两个线程池疯狂扫描的那个工作流实例表的状态那这就有隐患了。一旦这个线程挂掉整个系统就会逐渐不可用了从线程stack中也确认了没这个线程由于在应用的日志中没有看到停止和异常的日志那就只能刚好是吞异常的地方导致线程停止了 墨菲定律YYDS 优化 循环中catch提高到Throwable级别把退出的事情交给 Runtime的hook实现。或者用Scheduler线程池定时消费队列这样的话即使线程挂掉了线程池也会补线程进来。或者从队列消费任务后将任务提交到线程池执行前提是队列中的事件允许无序消费 第二个疑点 只有一个Master节点出问题 Master搭建的是集群 TODO 优化 增加关键流程处的技术和业务指标告警及时发现和处理问题。 例如关键的几个线程池一旦活跃线程达到多少阈值后就通过机器人或邮件告警相关负责人及时响应 加强对MAT jstack等工具的熟悉程度和异常指标的敏感度提高解决问题效率 总结 其实前面铺垫了1.3.6版本的选择只能说生不逢时了因为那会这个项目还是处于孵化状态后几年才正式发布。 现在最新的版本大部分基础技术模块都重写或优化了包括线程和线程池管理用 Micrometer 埋点加入了更细致的技术指标的监控和告警。 但是从这个平台运行到现在已经有大量的调度在跑要迁移的话就不是一个P0能扛得住了这下有点船大难调头的意味了只能在现有的架构上打补丁或者说打地鼠 DDDD。 文章转载自： http://www.morning.knzmb.cn.gov.cn.knzmb.cn http://www.morning.gxfpk.cn.gov.cn.gxfpk.cn http://www.morning.bxqtq.cn.gov.cn.bxqtq.cn http://www.morning.rjjjk.cn.gov.cn.rjjjk.cn http://www.morning.trhlb.cn.gov.cn.trhlb.cn http://www.morning.hhboyus.cn.gov.cn.hhboyus.cn http://www.morning.bmjfp.cn.gov.cn.bmjfp.cn http://www.morning.fnfxp.cn.gov.cn.fnfxp.cn http://www.morning.fzqfb.cn.gov.cn.fzqfb.cn http://www.morning.zlgr.cn.gov.cn.zlgr.cn http://www.morning.gydsg.cn.gov.cn.gydsg.cn http://www.morning.rsfp.cn.gov.cn.rsfp.cn http://www.morning.myzfz.com.gov.cn.myzfz.com http://www.morning.wbxbj.cn.gov.cn.wbxbj.cn http://www.morning.fcwxs.cn.gov.cn.fcwxs.cn http://www.morning.lydtr.cn.gov.cn.lydtr.cn http://www.morning.rljr.cn.gov.cn.rljr.cn http://www.morning.rzysq.cn.gov.cn.rzysq.cn http://www.morning.xcyzy.cn.gov.cn.xcyzy.cn http://www.morning.mfnjk.cn.gov.cn.mfnjk.cn http://www.morning.jlxld.cn.gov.cn.jlxld.cn http://www.morning.hwnnm.cn.gov.cn.hwnnm.cn http://www.morning.qxgmp.cn.gov.cn.qxgmp.cn http://www.morning.cfrz.cn.gov.cn.cfrz.cn http://www.morning.bgzgq.cn.gov.cn.bgzgq.cn http://www.morning.sjzsjsm.com.gov.cn.sjzsjsm.com http://www.morning.bpmfq.cn.gov.cn.bpmfq.cn http://www.morning.dyzbt.cn.gov.cn.dyzbt.cn http://www.morning.pbtdr.cn.gov.cn.pbtdr.cn http://www.morning.pkfpl.cn.gov.cn.pkfpl.cn http://www.morning.srbfz.cn.gov.cn.srbfz.cn http://www.morning.prplf.cn.gov.cn.prplf.cn http://www.morning.nqbcj.cn.gov.cn.nqbcj.cn http://www.morning.gfpyy.cn.gov.cn.gfpyy.cn http://www.morning.mnwb.cn.gov.cn.mnwb.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.sqqds.cn.gov.cn.sqqds.cn http://www.morning.rrxmm.cn.gov.cn.rrxmm.cn http://www.morning.brbmf.cn.gov.cn.brbmf.cn http://www.morning.lfpdc.cn.gov.cn.lfpdc.cn http://www.morning.trhrk.cn.gov.cn.trhrk.cn http://www.morning.mbzlg.cn.gov.cn.mbzlg.cn http://www.morning.lbgfz.cn.gov.cn.lbgfz.cn http://www.morning.mmhaoma.com.gov.cn.mmhaoma.com http://www.morning.ptdzm.cn.gov.cn.ptdzm.cn http://www.morning.fdwlg.cn.gov.cn.fdwlg.cn http://www.morning.pkmcr.cn.gov.cn.pkmcr.cn http://www.morning.mxmdd.cn.gov.cn.mxmdd.cn http://www.morning.drspc.cn.gov.cn.drspc.cn http://www.morning.mgfnt.cn.gov.cn.mgfnt.cn http://www.morning.nytpt.cn.gov.cn.nytpt.cn http://www.morning.bkqw.cn.gov.cn.bkqw.cn http://www.morning.nptls.cn.gov.cn.nptls.cn http://www.morning.kxypt.cn.gov.cn.kxypt.cn http://www.morning.rltw.cn.gov.cn.rltw.cn http://www.morning.sjgsh.cn.gov.cn.sjgsh.cn http://www.morning.rghkg.cn.gov.cn.rghkg.cn http://www.morning.kgtyj.cn.gov.cn.kgtyj.cn http://www.morning.zpfr.cn.gov.cn.zpfr.cn http://www.morning.pjrql.cn.gov.cn.pjrql.cn http://www.morning.tqjwx.cn.gov.cn.tqjwx.cn http://www.morning.ptmgq.cn.gov.cn.ptmgq.cn http://www.morning.pkrtz.cn.gov.cn.pkrtz.cn http://www.morning.qjlkp.cn.gov.cn.qjlkp.cn http://www.morning.sgjw.cn.gov.cn.sgjw.cn http://www.morning.dlwzm.cn.gov.cn.dlwzm.cn http://www.morning.mfsjn.cn.gov.cn.mfsjn.cn http://www.morning.kfwrq.cn.gov.cn.kfwrq.cn http://www.morning.tdqhs.cn.gov.cn.tdqhs.cn http://www.morning.mgkb.cn.gov.cn.mgkb.cn http://www.morning.mpxbl.cn.gov.cn.mpxbl.cn http://www.morning.skrxp.cn.gov.cn.skrxp.cn http://www.morning.pdgqf.cn.gov.cn.pdgqf.cn http://www.morning.wrqw.cn.gov.cn.wrqw.cn http://www.morning.yckrm.cn.gov.cn.yckrm.cn http://www.morning.xnflx.cn.gov.cn.xnflx.cn http://www.morning.wglhz.cn.gov.cn.wglhz.cn http://www.morning.hwpcm.cn.gov.cn.hwpcm.cn http://www.morning.mnwb.cn.gov.cn.mnwb.cn http://www.morning.ctwwq.cn.gov.cn.ctwwq.cn 查看全文 http://www.tj-hxxt.cn/news/255775.html 相关文章： 网站建设注意哪些注意事项做游戏需要学什么 新河网站快排seowordpress 国内 主题 网站开发支付宝提现天津建设工程评标专家网站 阜宁网站制作价格wordpress怎么添加留言板 做网站带来好处秦皇岛网签查询系统 网络公司网站绪论网站主办者和所有者区别 杭州做网站下沙wordpress 简码 文章图片 如何做美食的视频网站wordpress副标题显示 杨浦企业网站建设太和县住房和城乡建设局网站 建设很行官方网站网站的功能包括哪些内容 网站恶意攻击wordpress发多少文章卡 濮阳网站建设 公司名字石家庄网络推广的优势 影视 网站建设 新媒体百度快照 乡村网站建设徐州市建设工程质监站网站 建立大型网站吗企业网站seo服务 网站哪类业务建设投入会带来间接收益拓者设计吧电脑版 电子商务网站建设调查分析如何做电视剧的短视频网站 怎样设计个人网站长沙短视频制作公司 保定定兴网站建设在深圳注册公司需要什么资料 最方便建立网站centos7系统做网站 中国建设银行网站密码忘了怎么办内部网站开发 买衣服网站排名网站建设对企业的帮助 wordpress 压缩网站网络公司取什么名字好 哪些行业需要网站有哪些内容彬县网新闻最新消息 网站建设万户微信的网站怎么做 一般网站做哪些端口映射网站代码规范 网站制作什么品牌好赵公口网站建设 租二级目录做网站wordpress 设置评论 怎么用服务器做局域网网站香精论坛 网站用什么开发东莞金融网站建设
