胶州网站建设培训,网页浏览器入口,建设博客网站步骤,南京网站设计搭建公司一. 背景
Kafka和Hbase在现场应用广泛#xff0c;现场问题也较多#xff0c;本季度通过对现场问题就行跟踪和总结#xff0c;同时结合一些调研#xff0c;尝试提高难点问题的解决效率#xff0c;从而提高客户和现场满意度。非难点问题#xff08;历史遇到过问题#xf…一. 背景
Kafka和Hbase在现场应用广泛现场问题也较多本季度通过对现场问题就行跟踪和总结同时结合一些调研尝试提高难点问题的解决效率从而提高客户和现场满意度。非难点问题历史遇到过问题这类问题一般容易解决区域技术支持、总部技术支持已经过滤了一版会到组内和组件责任人目前虽然积累了一些现场问题解决经验和文档这些大部分是基于已知问题点难点问题未知问题但是对于未知类型或者是能定位到但是不容易解决的大约总问题的10%-20%除了基于日志、现在、linux传统命令行排查外我们缺少一些高效率的工具箱形成解决未知问题方法论目前组内解决未知问题的压力偏大, 面对现场难点问题时承压明显。
二. 现场问题归纳
1. Kafka
以下为重庆璧山现场Kakfa问题解决总结 问题leader下线问题 排查经排查主要是配置的线程数和内存不足导致 解决通过使用基线已知优化参数解决
问题cqbs009节点未上线副本较多 排查因磁盘故障 解决替换磁盘后解决
问题egrep慢kafka broker无法启动 排查发现卡在kafka启动脚本中 解决修复了Kafka启动脚本
2. Hbase
以下为南昌市局Hbase问题解决总结
问题Hbase入库积压 排查经过现场出差排查是单个节点WAL写入慢拖慢整体入库性能 解决停止慢节点RS迁移为其他节点
以下为重庆市局Hbase问题解决总结 问题感知抓拍数据入库断流 分析初步排查是因为有两个实例wal异常导致 wal异常影响写入的情况通常是磁盘问题网络异常 解决hbp3.1分支已经代码对这种情况进行了规避hbp3.0还没有测试发布补丁发布补丁解决
以下为重庆项目Hbase问题解决总结 问题8.28 gc导致的RS挂掉 原因及方案能否确定是业务压力还是环境导致的能否通过资源或配置调整规避或其它规避OR解决方案顺便整体看下集群负载情况
问题8.29 CPU卡死导致的kubelet not ready进一步导致所在节点HBase实例有HMaster角色 原因及方案一方面联系硬件排查cpu方面原因一方面调研下将服务pod改为类k8s自身服务的Static方式可行性
问题8.30 18:04 出现HBase全部重启情况 原因及方案需要确定是否跟k8s有关重要服务使用daemonSet控制器可以避免kubelet not ready后发生重启问题
问题Meta表损坏未能自动修复 原因及方案修复指导文档不适用提供优化后的自动化修复脚本和文档
问题对于如HBase负载高HBase写数据慢情况如何告警节点cpu、网络等负载高或异常情况 原因及方案 提供精确的监控和告警
三. 思路
总结上一章节各现场问题解决情况总结思路为 #mermaid-svg-ZGa1b1aePsb78us6 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-ZGa1b1aePsb78us6 .error-icon{fill:#552222;}#mermaid-svg-ZGa1b1aePsb78us6 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-ZGa1b1aePsb78us6 .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-ZGa1b1aePsb78us6 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-ZGa1b1aePsb78us6 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-ZGa1b1aePsb78us6 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-ZGa1b1aePsb78us6 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-ZGa1b1aePsb78us6 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-ZGa1b1aePsb78us6 .marker.cross{stroke:#333333;}#mermaid-svg-ZGa1b1aePsb78us6 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-ZGa1b1aePsb78us6 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-ZGa1b1aePsb78us6 .cluster-label text{fill:#333;}#mermaid-svg-ZGa1b1aePsb78us6 .cluster-label span{color:#333;}#mermaid-svg-ZGa1b1aePsb78us6 .label text,#mermaid-svg-ZGa1b1aePsb78us6 span{fill:#333;color:#333;}#mermaid-svg-ZGa1b1aePsb78us6 .node rect,#mermaid-svg-ZGa1b1aePsb78us6 .node circle,#mermaid-svg-ZGa1b1aePsb78us6 .node ellipse,#mermaid-svg-ZGa1b1aePsb78us6 .node polygon,#mermaid-svg-ZGa1b1aePsb78us6 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-ZGa1b1aePsb78us6 .node .label{text-align:center;}#mermaid-svg-ZGa1b1aePsb78us6 .node.clickable{cursor:pointer;}#mermaid-svg-ZGa1b1aePsb78us6 .arrowheadPath{fill:#333333;}#mermaid-svg-ZGa1b1aePsb78us6 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-ZGa1b1aePsb78us6 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-ZGa1b1aePsb78us6 .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-ZGa1b1aePsb78us6 .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-ZGa1b1aePsb78us6 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-ZGa1b1aePsb78us6 .cluster text{fill:#333;}#mermaid-svg-ZGa1b1aePsb78us6 .cluster span{color:#333;}#mermaid-svg-ZGa1b1aePsb78us6 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-ZGa1b1aePsb78us6 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 文档 文档 文档 文档 组件 组件 系统 系统 思路 已知问题方法论 问题分类和归档 共享知识库 结合问题深入源码 组件运维优化思路 Kafka运维优化思路 Hbase运维优化思路 系统 硬件和基础设施优化 Kubernetes 使用优化 1.建立高效排查和解决已知问题方法论
问题分类和归档建立问题分类体系包括已知问题和未知问题以及它们的历史解决方案和经验。 共享知识库建立一个内部知识库收集并整理已知问题、解决方案、优化经验等方便团队成员快速查询和共享经验。 深入原理了解代码结构和原理方便排查有一定难度的问题
2. Kafka 运维优化思路
配置调优 确保Kafka集群的配置参数例如线程数、内存分配与实际负载相匹配。定期审查配置以确保它们满足当前的需求特别是在扩展或升级时。 磁盘监控和维护 设置磁盘监控和预警及时检测到磁盘故障并采取预防措施如替换磁盘。此外考虑使用RAID或分布式存储以提高可靠性。 启动脚本维护 保持Kafka启动脚本的完整性和可靠性确保能够正确启动Kafka Broker。还要确保及时更新脚本以反映最新的最佳实践和安全修复。
3.Hbase 运维优化思路
WAL写入性能优化 对于WAL写入慢的问题可以进一步调整Hbase的WAL相关配置如WAL刷写频率以提高写入性能。还可以监控磁盘和网络问题确保它们没有导致性能瓶颈。 版本升级和补丁管理 考虑将Hbase升级到支持自动规避某些问题的版本2.4.17或者及时应用已知的修复补丁。有助于减少因为已知问题而导致的性能问题。 资源调优 分析资源使用情况包括CPU、内存和网络并根据需要进行调整。此外确保Hbase集群的硬件配置满足负载需求。 监控和告警 设置监控和告警系统以及日志收集以便及时感知集群中的性能问题和异常。建议使用专业监控工具来监测Hbase的负载、性能和健康状态。 自动化修复脚本 提供自动化修复脚本以帮助解决常见问题如Meta表损坏。这可以减少手动干预的需求。 静态Pod配置 对于HBase运行在Kubernetes集群上的情况考虑将关键服务的Pod配置为Static方式以避免kubelet not ready问题。 负载均衡和故障转移 确保Hbase集群中的负载均衡和故障转移机制正常工作以提高系统的可用性和性能。以上提到的优化思路可以帮助您改进Kafka和Hbase的运维效率减少未知问题的发生并提高现场问题的解决速度从而提高客户和现场的满意度。根据具体情况您可能需要进一步详细规划和实施这些优化策略。
4. 硬件和基础设施优化
硬件健康监测建立硬件健康检查机制及时监测磁盘、内存、CPU等硬件健康状态预防硬件故障。 基础设施优化考虑对硬件进行升级或替换以满足业务的性能需求例如更换磁盘升级内存或CPU等。
5. Kubernetes 使用优化
资源调整针对Kubernetes环境中的Kafka和HBase调整容器资源分配确保资源合理利用和避免资源不足导致的问题。 Pod配置调整优化Pod配置例如静态Pod、Pod的调度策略以避免Kubelet not ready等问题。
通过这些优化思路您可以提高团队解决已知/未知问题的能力降低现场难点问题带来的压力增强现场问题的解决效率提高客户和现场的满意度。
四. 自动化运维
Kafka和Hbase目前运维主要基于Metric查看和告警、Log错误日志
历史经验
上述方式能够解决70%-80%左右的现场问题这些问题点偏向于历史已经发生过的、有经验总结的问题例如错误日志就是典型的依赖人工历史经验
新型问题
然而对于以前未遇到过的疑难问题约20%左右这里面包括组件自身可能的问题点以及非组件问题例如网络波动这20%基本上属于疑难问题了通过Metric、Log并不能快速排查解决疑难问题/未知问题-排查解决周期一般比较长容易导致问题升级带来体验上的负面影响且解决未知疑难问题过程中传统的Metric和Log方式基本上用处比较小可以考虑借助一些新的轻量级工具。
解决思路
此时考虑从三个方面进行优化疑难问题解决都有相应的工具缩短任务排查解决周期提高用户满意度
补全trace
补全链路信息方便出问题的时候快速定位到是那台机器的哪个实例同时对网络波动等问题主流的trace工具有较好的指标分析补全profile
通过metric或者trace定位到实例后非性能问题历史遇到过的且有日志报错的问题通过历史经验和最近实践文档解决性能问题CPU、内存、锁等性能问题可通过arthas profile等火焰图工具解决自动修复
60% case目前基于Hbase的Metric能够非常方便的做成自动修复工具覆盖60%左右现场问题做到自动化巡检和解决
80% case以Hbase为例预计接入Hbase的Error和Warming日志通过类似正则表达式方式匹配可覆盖到80%问题做到自动化巡检和解决
剩余20%未知case通过profile或者其他工具定位解决后加入到Habse自动化运维工具五. Profile工具-简要调研
上一章节我们提到了补全profile火焰图数据方便排查性能问题以下是几个市面上的profile工具调研以供参考
arthas profile功能
Arthas是阿里云提供的Java诊断工具用于帮助开发者分析Java应用程序的性能和问题。Arthas具有丰富的功能其中之一就是profile命令用于分析应用程序的性能热点。以下是profile命令的一些主要特点和功能火焰图支持 profile命令能生成火焰图这是一种可视化的性能分析工具可以直观地显示函数调用关系帮助开发者快速定位性能瓶颈。CPU性能分析 profile命令主要用于分析应用程序的CPU性能热点可以帮助开发者找出消耗最多CPU时间的方法。指定时间和采样间隔 开发者可以指定profile命令运行的时间和采样间隔。这可以帮助开发者控制性能分析的粒度和持续时间。支持多线程 profile命令能够分析多线程环境中的性能热点这对于并发编程的性能分析尤为重要。简单易用 Arthas的profile命令使用简单只需要指定要分析的类或方法即可开始性能分析
使用示例
profile --event cpu --duration 30s --thread 2 com.example.demo.service.MyService myMethod上述命令将对com.example.demo.service.MyService类中的myMethod方法进行30秒的CPU性能分析采样间隔为2毫秒。总的来说Arthas的profile命令是一个非常有用的性能分析工具能帮助Java开发者快速定位和解决应用程序中的性能问题。
pyroscope
Pyroscope是一个开源性能分析工具用于帮助开发者监测、分析和优化应用程序的性能。它可以用于不同编程语言的应用程序包括Python、Go、Node.js等。以下是Pyroscope的一些主要特点和功能实时性能分析 Pyroscope可以实时捕获应用程序的性能数据包括CPU使用率、内存占用、函数调用等信息。这使开发者能够快速识别性能瓶颈和问题。火焰图支持 Pyroscope生成火焰图这是一种可视化工具用于直观地展示应用程序的性能剖析信息。通过火焰图开发者可以清晰地看到函数调用关系从而更容易地进行性能优化。低侵入性 Pyroscope的集成相对简单并且对应用程序的性能影响较小。开发者可以将其嵌入到应用程序中以收集性能数据。支持多种编程语言 Pyroscope支持多种编程语言包括Python、Go、Node.js、Ruby等。这使得开发者可以在不同的应用程序中使用Pyroscope进行性能分析。可扩展性 Pyroscope提供了API和插件系统允许开发者根据需要扩展其功能以满足特定的性能分析需求。开源和免费 Pyroscope是开源项目可以免费使用和定制。它的源代码可以在GitHub上找到。总之Pyroscope是一个有助于开发者识别和解决应用程序性能问题的强大工具特别适用于需要实时性能分析和可视化的场景。它提供了直观的性能数据展示帮助开发团队更快速地优化其应用程序。
阿里云应用实时监控服务ARMS
接入CPU内存诊断功能
CPU内存诊断可以有效发现Java程序中因为CPU、内存和IO导致的瓶颈问题并且按照方法名称、类名称和行号进行细分统计最终协助开发者优化程序、降低延迟、增加吞吐、节约成本。本文介绍如何开通ARMS CPU内存诊断功能以及如何查看CPU内存诊断数据。
使用代码热点诊断慢调用链的问题
ARMS代码热点作为一种监控诊断工具通过持续剖析技术定时采集请求线程堆栈快照真实还原代码执行的第一现场
使用场景 当促销活动出现慢调用时ARMS代码热点可为您快速定位问题代码。 当系统出现大量慢调用时ARMS代码热点可为您自动保存第一现场。 当业务太复杂偶发性慢调用无法复现时ARMS代码热点可为您还原代码真实方法层面的执行轨迹。 当调用链中因为缺失对应用代码非框架层面的方法埋点时代码热点帮您还原对应缺失埋点的实际方法调用耗时。
排查JVM进程CPU使用率过高的问题
问题现象Java程序CPU使用率为200%。
解决方案 登录ARMS控制台选择应用监控 应用列表。 然后单击目标应用名称。 在左侧导航栏中单击CPU内存诊断。 在CPU内存诊断页面通过聚合分析定位CPU消耗较大的线程。
定位关键代码并完成优化
上图显示为2个消耗CPU的线程对应的代码
排查内存使用率较高的问题
问题定位
登录ARMS控制台在左侧导航栏选择应用监控-应用列表。 在应用列表页面顶部选择目标地域然后单击目标应用名称。 在左侧导航栏中单击CPU内存诊断。 在CPU内存诊断页面选择目标快照时间后单击聚合分析。 在快照详情面板选择性能分析类型为Allocated Memory然后定位collect-heap内存时的主要申请方法是哪些
解决方案 创建内存申请程序此处模拟了一个逻辑简单的内存申请程序。 启动3个线程每个线程间隔1秒申请1M*N的内存
每秒申请1M*N的内存3个线程分别对应的N为1、2、3因此3个线程每分钟分别申请的内存为60M、120M、180M共计360M。
备注由于arthas profile与阿里云ARMS底层都是基于一个开源的工具 async-profiler实现可以理解为arthas profile为命令行工具没有交互界面阿里云ARMS为一个产品为了精简使用后续以arthas为基准
arthas profile与pyroscope对比
Arthas的profile命令和Pyroscope都是用于性能分析的工具但它们有一些不同之处以下是它们之间的比
1.类型和用途
Arthas profile Arthas是一个Java诊断工具其中的profile命令主要用于分析Java应用程序的CPU性能热点。它是一种命令行工具旨在帮助开发者快速识别并解决Java应用程序中的性能问题。 Pyroscope Pyroscope是一个开源的实时性能分析平台支持多种编程语言包括Go、Java、Python、Ruby等。它提供了更广泛的性能分析功能包括CPU、内存、函数调用等多方面的分析并提供直观的可视化工具。 支持的编程语言 Arthas profile Arthas主要面向Java应用程序。 Pyroscope Pyroscope支持多种编程语言这使得它更适用于多语言的应用程序堆栈。 可视化工具 Arthas profile Arthas的profile命令可以生成火焰图但其可视化能力相对有限主要用于展示Java方法的性能热点。 Pyroscope Pyroscope提供了丰富的可视化工具包括火焰图、堆栈图等可以更全面地展示性能数据使开发者能够更容易地理解和分析性能问题。 集成难度和侵入性 Arthas profile Arthas的使用相对简单但需要将其嵌入到Java应用程序中因此可能对应用程序的性能有一定影响 Pyroscope Pyroscope的集成较为灵活可以在应用程序中低侵入性地收集性能数据对应用程序的性能影响较小。 扩展性 Arthas profile Arthas是一个命令行工具扩展性相对较低。Pyroscope Pyroscope提供了API和插件系统允许开发者根据需要扩展其功能以满足特定的性能分析需求。
综上所述 Arthas的profile命令主要适用于Java应用程序的CPU性能分析而Pyroscope是一个更全面的性能分析平台支持多种编程语言提供更多的可视化工具和灵活的集成选项。选择哪个工具取决于您的具体需求和应用程序的特点。如果需要跨语言性能分析或更广泛的性能分析功能Pyroscope可能是更好的选择当前大数据系统以Java主arthas profile功能可能是更好的选择。
六. 总结
能分析需求。
综上所述 Arthas的profile命令主要适用于Java应用程序的CPU性能分析而Pyroscope是一个更全面的性能分析平台支持多种编程语言提供更多的可视化工具和灵活的集成选项。选择哪个工具取决于您的具体需求和应用程序的特点。如果需要跨语言性能分析或更广泛的性能分析功能Pyroscope可能是更好的选择当前大数据系统以Java主arthas profile功能可能是更好的选择。
六. 总结
