做的比较唯美的网站有哪些,网站建设通用代码,电力建设监理招聘网站,网站开发课程知识点总结引言
ClickHouse 作为用于联机分析(OLAP)的列式数据库管理系统(DBMS), 最核心的特点是极致压缩率和极速查询性能。同时#xff0c;ClickHouse 支持 SQL 查询#xff0c;在基于大宽表的聚合分析查询场景下展现出优异的性能。因此#xff0c;获得了广泛的应用。本文旨在分享阿…引言
ClickHouse 作为用于联机分析(OLAP)的列式数据库管理系统(DBMS), 最核心的特点是极致压缩率和极速查询性能。同时ClickHouse 支持 SQL 查询在基于大宽表的聚合分析查询场景下展现出优异的性能。因此获得了广泛的应用。本文旨在分享阿里云可观测监控 Prometheus 版对开源 ClickHouse 的监控实践。
一、ClickHouse 简介
一技术特点
列式存储与数据压缩
在执行数据查询时列式存储可以减少数据扫描范围和数据传输大小提高数据查询的效率。
完备的 DBMS 功能 DDL 数据定义语言可以动态地创建、修改或删除数据库、表和视图而无须重启服务DML数据操作语言可以动态查询、插入、修改或删除数据。 权限控制
可按照用户粒度设置数据库或表的操作权限保障数据安全性。
数据备份与恢复
提供数据备份导出与导入恢复机制满足生产环境要求。
分布式管理
提供集群模式自动管理多个数据库节点。
二ClickHouse 典型适用场景
复杂查询聚合的 OLAP 场景需要支持稳定大量数据写入不需要高频查询不需要高级 DBMS 功能如事务性不需要经常很复杂的表间操作比如 join 操作。
三ClickHouse 核心概念
ClickHouse 集群Cluster
在物理构成上ClickHouse 集群是由多个 ClickHouse Server 实例组成的分布式数据库。这些 ClickHouse Server 根据规格的不同可以包含 1 个或多个副本Replica、1 个或多个分片Shard。在逻辑构成上一个ClickHouse 集群可以包含多个数据库Database对象。
分片Shard
在超大规模海量数据处理场景下单台服务器的存储、计算资源会成为瓶颈。为了进一步提高效率ClickHouse 将海量数据分散存储到多台服务器上每台服务器只存储和处理海量数据的一部分在这种架构下每台服务器被称为一个分片Shard。
副本Replica
为了在异常情况下保证数据的安全性和服务的高可用性ClickHouse 提供副本机制将单台服务器的数据冗余存储在2台或多台服务器上。
数据库Database
数据库是云数据库 ClickHouse 集群中的最高级别对象内部包含表Table、列Column、视图View、函数、数据类型等。
表Table
表是数据的组织形式由多行、多列构成。
二、ClickHouse Metrics 监控参考模型
我们从 Metrics 采集、监控大盘、告警规则等三个方面定义 ClickHouse Metrics 监控的参考模型以便实现监控闭环。
一Metrics 采集
主机节点监控即硬件资源Node-Exporter 处理器、内存负载磁盘存储 ClickHouse 服务指标监控集成进 ClickHouse-Exporter 系统指标metrics: system.metrics 表用于统计 ClickHouse 服务在运行时当前正在执行的高层次的概要信息包括了正在执行的查询总次数、正在发生的合并操作总次数等。具体指标通过执行select * from system.metrics系统事件eventssystem.events 用于统计 ClickHouse 服务在运行过程中已经执行过的高层次的 累积概要信息包括查询总次数、 SELECT 查询总次数等具体指标通过执行查询select * from system.events– 64个指标系统异步指标asynchronous_ metricsasynchronous_metrics 用于统计 ClickHouse 服务运行过程时当前正在后台 异步运行的高层次的概要信息包括当前分配的内存、执行队列中的任务数量等。 具体指标通过执行查询select * from system.asynchronous_metrics -- 500个指标查询日志查询日志目前主要有6种类型所有查询日志在默认配置下都是关闭状态需要在 config.xml文件配置开启日志后可以到对应的日志表进行日志查询system.query_log。
1主机节点监控
该部分指标主要来源于 Node-Exporter , 提供集群/ ECS 节点 CPU、内存、磁盘、inode 等监控指标。 2ClikcHouse 服务指标
ClikckHouse 内置 Metrics、events 和 asynchronous_metrics 三张系统表用于存放其监控指标通过预先安装 clickhouse-exporter 将这三张系统表中的数据转化、发送给阿里云可观测监控 Prometheus 版。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HnNhT8a5-1690884166323)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4751cbf35ce647358882850f99c9107c~tplv-k3u1fbpfcp-watermark.image?)] ⚠️注意: 以上列出的为关键指标更多详细指标详见: 应用实时监控服务ARMS控制台-Prometheus监控-Prometheus实例列表-选择实例-集成中心-ClickHouse
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Eq7CbV73-1690884166324)(https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d8ff3a8873ab472d8643e9e6ef6f88c5~tplv-k3u1fbpfcp-watermark.image?)]
二ClickHouse 监控大盘
我们默认提供了arms-clickhouse-ecs和arms-clickhouse-k8s两个大盘分别针对 ClickHouse 安装在ACK 集群/ ECS 中两个场景这两个大盘中图标均来自于上述 Metrics 指标。
⚠️注意: 主机节点监控需提前安装 Node-Exporter以下大盘图示数值仅为展示作用不具备参考价值实际数值依 ClickHouse 环境而定
1主机节点指标 2ClickHouse Server指标 3MergeTree 指标 4消息队列指标 三告警规则
参考前面对各项主要指标介绍针对 ClickHouse 可以重点配置以下告警项这些告警项已内置到arms-clickhouse告警规则中可依据自身业务情况及经验调整告警阈值:
【L0】CPU 超过 90%【L0】Mem 超过 90%【L0】Disk 超过 90%【L0】Inode 使用率超过 90%【L0】写入失败率超过 5%【L1】运行 Query 个数超过 95【L1】连接数超过 4k【L1】失败 Query 个数超过 10
四相关实践示例
1CPU 过高
确认 CPU 占用过高是由 ClickHouse 引起的。可以通过 top 命令top -H -p xxx查看系统的 CPU 占用率找出占用 CPU 比较高的进程。如果发现 ClickHouse 进程占用了大量 CPU 资源那么就需要进一步排查。使用 ClickHouse 内置查询来查看系统的状态。可以使用以下查询
SHOW PROCESSLIST query WHERE query NOT LIKE %SYSTEM% ORDER BY elapsed DESC LIMIT 10这个查询可以列出最耗时的查询找到可能引起 CPU 占用过高的查询语句。
检查 ClickHouse 配置。一些配置参数可能导致 ClickHouse 占用大量 CPU 资源。可以查看 ClickHouse 配置文件确认配置是否合理是否需要调整。检查 ClickHouse 日志。ClickHouse 日志中可能包含错误信息或警告信息可以帮助找出问题所在。检查硬件资源是否充足。如果系统 CPU、内存等硬件资源不足那么 ClickHouse 可能会出现 CPU 占用过高的情况。可以检查系统的硬件资源使用情况确认是否需要升级硬件。升级 ClickHouse 版本。如果是 ClickHouse 版本的问题可以考虑升级到更稳定的版本。
2内存过高
使用内置查询查看内存占用情况。可以使用以下查询来查看 ClickHouse 系统的内存占用情况
SELECT * FROM system.metrics WHERE metric LIKE %memory%;这个查询会列出 ClickHouse 的各个内存指标包括总内存、已用内存、缓存内存等。可以根据这些指标来判断内存占用是否过高。
检查 ClickHouse 的配置。一些配置参数可能会导致 ClickHouse 占用大量的内存资源。可以查看 ClickHouse 的配置文件确认配置是否合理是否需要调整。检查系统的内存资源使用情况。如果系统的内存资源不足那么 ClickHouse 可能会出现内存占用过高的情况。可以使用命令free -m查看系统的内存使用情况。检查 ClickHouse 的日志。ClickHouse 的日志中可能包含错误信息或警告信息可以帮助找出问题所在。升级 ClickHouse 版本。如果是 ClickHouse 版本的问题可以考虑升级到更稳定的版本。减少查询语句的数据量和计算量。如果查询语句的数据量和计算量过大那么 ClickHouse 可能会占用大量的内存资源。可以考虑优化查询语句减少数据量和计算量。
3Disk 占用过高
使用系统工具查看磁盘占用情况。可以使用命令 df -h 来查看系统的磁盘使用情况查看是否有磁盘空间不足的情况。检查 ClickHouse 的配置。一些配置参数可能会导致 ClickHouse 占用大量的磁盘资源。可以查看 ClickHouse 的配置文件确认配置是否合理是否需要调整。使用 ClickHouse 内置的查询来查看磁盘占用情况。可以使用以下查询来查看 ClickHouse 的磁盘占用情况
SELECT database, table, sum(bytes) AS total_size FROM system.parts WHERE active GROUP BY database, table ORDER BY total_size DESC这个查询会列出 ClickHouse 的各个表的占用磁盘空间情况可以根据这个查询来判断磁盘占用是否过高。
检查 ClickHouse 的日志。ClickHouse 的日志中可能包含错误信息或警告信息可以帮助找出问题所在。清理不必要的数据。如果 ClickHouse 中存在不必要的数据可以考虑进行清理释放磁盘空间。
三、如何使用阿里云可观测监控 Prometheus 版监控ClickHouse 服务
一安装 Prometheus 监控
1前序条件已根据安装ClickHouse 安装环境创建对应Prometheus 实例。
根据 ClickHouse 安装方式
如果 ClickHouse 部署在 ACK 中, 并创建了Prometheus for 容器实例创建请参考Prometheus for 容器服务如果 ClickHouse 部署在 ECS 中, 并创建了Prometheus for ECS 实例创建请参考Prometheus for ECS。
2安装方式一Prometheus for 容器服务
在Prometheus for 容器服务实例中ClickHouse 已经默认在集成中心中展示用户可以在应用实时监控服务ARMS控制台-Prometheus监控-Prometheus实例列表-选择Prometheus for 容器服务实例-集成中心中找到入口点击 ClickHouse 图标可以看到常见的指标列表和大盘缩略图。点击安装可以接入 ClickHouse 监控配置如下图
Exporter 名称: 自定义 Exporter 名称ClickHouse Scrape 地址: IP Port, Exporter 能够访问的 ClickHouse 地址 ClickHouse 用户名: 登陆用户名ClickHouse 密码: 登陆密码Metrics 采集间隔(秒): 默认 30s 采集一次, 一般不需要更改。 点击确定后, clickhouse-exporter-填入的名称的 Exporter 会被安装到 arms-prom 命名空间下并自动完成采集 job 的配置。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GA1WKNkd-1690884166325)(https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f786418e6ef34e38bf36b235c00919c2~tplv-k3u1fbpfcp-watermark.image?)]
可以在应用实时监控服务ARMS控制台-Prometheus监控-Prometheus实例列表-选择Prometheus for 容器服务实例-集成中心-已安装-ClikckHouse中快速浏览相关的 Target/指标/大盘/告警/服务发现/ Exporter 等信息。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-po1p9fXY-1690884166326)(https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/19151467be0c4cfcb05491b42c772f70~tplv-k3u1fbpfcp-watermark.image?)]
3安装方式二Prometheus for ECS
安装 ClickHouse 相同 VPC 的Prometheus for ECS实例由于Prometheus for ECS实例中 ClickHouse 的主机节点监控来自于Node-Exportor所以先安装 Node-Exportor。用户可以在
应用实时监控服务ARMS控制台-Prometheus监控-Prometheus实例列表-选择Prometheus for ECS实例-集成中心中找到入口点击Node-Exporter图标点击安装可以接入 Node-Exporter 监控然后选择对应 ECS 实例安装即可。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vd88MhI2-1690884166326)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/94f139bc30e348fdbbee9d46adada401~tplv-k3u1fbpfcp-watermark.image?)]
用户可以在应用实时监控服务ARMS控制台-Prometheus监控-Prometheus实例列表-选择Prometheus for ECS实例-集成中心中找到入口点击 ClickHouse 图标点击安装可以接入 ClickHouse 监控配置与上述Prometheus for 容器服务相同。
4指标未采集的排查方法
⚠️注意: 下面是Prometheus for 容器实例的排查方法Prometheus for ECS实例请联系Prometheus值班-美娜
ClickHouse-Exporter 本身的主要工作是指标映射需要填入正确 ClickHouse 抓取 URL及登陆用户名、密码。如果出现指标采集不到的问题可以参考如下的排查思路。
检查 Prometheus Target 状态如果 Target 显示为Unhealthy状态请排查clickhouse-exporter Pod 运行状态如果 Target 状态正常继续下一步。 若 Target 状态正常但抓取指标量很少且指标全为go_相关查看clickhouse-exporter Pod 日志确认日志中是否有报错信息。 查看clickhouse-exporter Pod 日志确定 Exporter 抓取目标 URL 是否正常。 二查看大盘
如需要查看 ClickHouse 相关大盘可以从应用实时监控服务ARMS控制台-Prometheus监控-Prometheus实例列表-实例详情页-集成中心-已安装-ClikckHouse中点选大盘列出两类大盘arms-clickhouse-ecs和arms-clickhouse-k8s根据环境选择对应的大盘模板。
以下是arms-clickhouse-k8sVariables 参数说明:
datasource : 数据源选择对应的实例名称job: 新建 clickhouse-exporter 对应 job 名称与 clickhouse-exporter 名称一致用于展示ClickHouseServer 指标、MergeTree 指标、消息队列指标namespace: ClickHouse Pod 所在的命名空间用于主机节点指标筛选Pod: 可根据需要选择对应的 ClickHouse Pod用于主机节点指标筛选。 以下是arms-clickhouse-ecsVariables参数说明:
datasource: 数据源选择对应的实例名称job: 新建的 clickhouse-exporter 对应 job 名称与clickhouse-exporter 名称一致用于展示ClickHouseServer 指标、MergeTree 指标、消息队列指标instance: ecs 实例 IP用于主机节点筛选。 三配置告警
在集成中心安装 ClickHouse 监控时已经默认增加了arms-clickhouse告警分组的相关规则但未启用您只需要简单修改参数并确认启用即可。
可以从应用实时监控服务ARMS控制台-Prometheus监控-Prometheus实例列表-实例详情页-集成中心-已安装-ClikckHouse中选择告警-创建告警规则进入规则新增页面在其中告警分组选择arms-clickhouse告警分组并根据环境选择您需要启用的告警指标确认参数阈值并保存即可完成告警规则的创建。 四、自建 Prometheus 与阿里云可观测监控 Prometheus 版监控 ClickHouse 优劣对比
Prometheus 作为目前主流可观测开源项目之一已被众多企业所广泛应用但还会遇到不少困难与挑战:
每套完整的自建观测系统都需要安装并配置 Prometheus、Grafana、AlertManager 等组件部署过程复杂、实施周期长并且每次升级都需要对每个组件进行维护开源分享的相关大盘不够专业更新速度慢缺少开箱即用的丰富指标由于安全、组织管理等因素用户业务通常部署在多个相互隔离的 VPC需要在多个 VPC 内都重复、独立部署 Prometheus导致部署和运维成本高。
针对以上问题阿里云可观测监控 Prometheus 版进行了以下优化
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8VBeUhSX-1690884166329)(https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e9e4aa28a9284725a73a048ce209d91d~tplv-k3u1fbpfcp-watermark.image?)]
结束语
阿里云可观测监控 Prometheus 版与阿里云容器服务无缝集成提供了开源 ClickHouse 的指标采集、用户大盘、告警规则等项目的一键集成用户免运维开箱即用目前 ClickHouse 指标采集功能仍在不断演进中欢迎大家试用和提出改进意见。 文章转载自： http://www.morning.ybgt.cn.gov.cn.ybgt.cn http://www.morning.yrmpz.cn.gov.cn.yrmpz.cn http://www.morning.tbqxh.cn.gov.cn.tbqxh.cn http://www.morning.lsfrc.cn.gov.cn.lsfrc.cn http://www.morning.kbfzp.cn.gov.cn.kbfzp.cn http://www.morning.rtsx.cn.gov.cn.rtsx.cn http://www.morning.nytqy.cn.gov.cn.nytqy.cn http://www.morning.wfdlz.cn.gov.cn.wfdlz.cn http://www.morning.bmnm.cn.gov.cn.bmnm.cn http://www.morning.zlmbc.cn.gov.cn.zlmbc.cn http://www.morning.chxsn.cn.gov.cn.chxsn.cn http://www.morning.yfphk.cn.gov.cn.yfphk.cn http://www.morning.wcghr.cn.gov.cn.wcghr.cn http://www.morning.nyplp.cn.gov.cn.nyplp.cn http://www.morning.bbmx.cn.gov.cn.bbmx.cn http://www.morning.gsjw.cn.gov.cn.gsjw.cn http://www.morning.sthp.cn.gov.cn.sthp.cn http://www.morning.grbp.cn.gov.cn.grbp.cn http://www.morning.i-bins.com.gov.cn.i-bins.com http://www.morning.kjxgc.cn.gov.cn.kjxgc.cn http://www.morning.tpqzs.cn.gov.cn.tpqzs.cn http://www.morning.kongpie.com.gov.cn.kongpie.com http://www.morning.cgntj.cn.gov.cn.cgntj.cn http://www.morning.nynyj.cn.gov.cn.nynyj.cn http://www.morning.fygbq.cn.gov.cn.fygbq.cn http://www.morning.rqlbp.cn.gov.cn.rqlbp.cn http://www.morning.ycnqk.cn.gov.cn.ycnqk.cn http://www.morning.enjoinfo.cn.gov.cn.enjoinfo.cn http://www.morning.tbhlc.cn.gov.cn.tbhlc.cn http://www.morning.ntzfj.cn.gov.cn.ntzfj.cn http://www.morning.nwmwp.cn.gov.cn.nwmwp.cn http://www.morning.sthgm.cn.gov.cn.sthgm.cn http://www.morning.dthyq.cn.gov.cn.dthyq.cn http://www.morning.kphyl.cn.gov.cn.kphyl.cn http://www.morning.rkxdp.cn.gov.cn.rkxdp.cn http://www.morning.jlgjn.cn.gov.cn.jlgjn.cn http://www.morning.yjprj.cn.gov.cn.yjprj.cn http://www.morning.mcndn.cn.gov.cn.mcndn.cn http://www.morning.kmwsz.cn.gov.cn.kmwsz.cn http://www.morning.rsbqq.cn.gov.cn.rsbqq.cn http://www.morning.xnpml.cn.gov.cn.xnpml.cn http://www.morning.zwhtr.cn.gov.cn.zwhtr.cn http://www.morning.fykrm.cn.gov.cn.fykrm.cn http://www.morning.kzhxy.cn.gov.cn.kzhxy.cn http://www.morning.qmqgx.cn.gov.cn.qmqgx.cn http://www.morning.joinyun.com.gov.cn.joinyun.com http://www.morning.qgxnw.cn.gov.cn.qgxnw.cn http://www.morning.flchj.cn.gov.cn.flchj.cn http://www.morning.sskhm.cn.gov.cn.sskhm.cn http://www.morning.rfwrn.cn.gov.cn.rfwrn.cn http://www.morning.trzzm.cn.gov.cn.trzzm.cn http://www.morning.wwkft.cn.gov.cn.wwkft.cn http://www.morning.krkwp.cn.gov.cn.krkwp.cn http://www.morning.pzcjq.cn.gov.cn.pzcjq.cn http://www.morning.ljzss.cn.gov.cn.ljzss.cn http://www.morning.pjwrl.cn.gov.cn.pjwrl.cn http://www.morning.kndst.cn.gov.cn.kndst.cn http://www.morning.qhqgk.cn.gov.cn.qhqgk.cn http://www.morning.ycmpk.cn.gov.cn.ycmpk.cn http://www.morning.ghlyy.cn.gov.cn.ghlyy.cn http://www.morning.rrxgx.cn.gov.cn.rrxgx.cn http://www.morning.mznqz.cn.gov.cn.mznqz.cn http://www.morning.ghpld.cn.gov.cn.ghpld.cn http://www.morning.tkrpt.cn.gov.cn.tkrpt.cn http://www.morning.xblrq.cn.gov.cn.xblrq.cn http://www.morning.ffptd.cn.gov.cn.ffptd.cn http://www.morning.jjnry.cn.gov.cn.jjnry.cn http://www.morning.pjrgb.cn.gov.cn.pjrgb.cn http://www.morning.brwnd.cn.gov.cn.brwnd.cn http://www.morning.zzjpy.cn.gov.cn.zzjpy.cn http://www.morning.dpsgq.cn.gov.cn.dpsgq.cn http://www.morning.lyzwdt.com.gov.cn.lyzwdt.com http://www.morning.xqmd.cn.gov.cn.xqmd.cn http://www.morning.rhwty.cn.gov.cn.rhwty.cn http://www.morning.qbkw.cn.gov.cn.qbkw.cn http://www.morning.yqqgp.cn.gov.cn.yqqgp.cn http://www.morning.ngkgy.cn.gov.cn.ngkgy.cn http://www.morning.rknjx.cn.gov.cn.rknjx.cn http://www.morning.xnymt.cn.gov.cn.xnymt.cn http://www.morning.lxdbn.cn.gov.cn.lxdbn.cn
