微信与与网站建设,免费设计企业logo,网站建设文字设计,建筑企业办公系统公司提示#xff1a;文章写完后#xff0c;目录可以自动生成#xff0c;如何生成可参考右边的帮助文档 文章目录 1. ClickHouse 简介官网#xff1a; [https://clickhouse.com/docs/zh](https://clickhouse.com/docs/zh) 1.1 大数据处理场景1.2 什么是 ClickHouse1.3 OLAP 场景… 提示文章写完后目录可以自动生成如何生成可参考右边的帮助文档 文章目录 1. ClickHouse 简介官网 [https://clickhouse.com/docs/zh](https://clickhouse.com/docs/zh) 1.1 大数据处理场景1.2 什么是 ClickHouse1.3 OLAP 场景的特征 2. ClickHouse 特性2.1 完备的 DBMS 功能2.2 列式存储行式存储: 在数据写入和修改上具有优势列式存储: 在数据读取和解析、分析数据上具有优势列式储存的好处 2.3 数据压缩2.4 向量化执行引擎2.5 关系模型与标准 SQL 查询ClickHouse 是大小写敏感SELECT a 和 SELECT A 所代表的语义不同 2.6 多样化的表引擎2.7 多线程与分布式2.8 多主架构2.9 交互式查询2.10 数据分片与分布式查询 1. ClickHouse 简介 官网 https://clickhouse.com/docs/zh 1.1 大数据处理场景 在大数据处理场景中流处理和批处理使用到的技术大致如下 1.2 什么是 ClickHouse
ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库DBMS使用 C语言编写主要用于在线分析处理查询OLAP能够使用 SQL 查询实时生成分析数据报告
ClickHouse 是一个开源的用于联机分析OLAP的列式数据库管理系统DBMS-database manager system, 它是面向列的并允许使用 SQL 查询实时生成分析报告。ClickHouse 最初是一款名Yandex.Metrica 的产品主要用于 WEB流量分析。ClickHouse 的全称是 Click StreamData WareHouse简称 ClickHouse。ClickHouse 不是一个单一的数据库,它允许在运行时创建表和数据库加载数据和运行查询而无需重新配置和重新启动服务器。ClickHouse 同时支持列式存储和数据压缩这是对于一款高性能数据库来说是必不可少的特性。
一个非常流行的观点认为如果你想让查询变得更快最简单且有效的方法是减少数据扫描范围和数据传输时的大小而列式存储和数据压缩就可以帮助我们实现上述两点列式存储和数据压缩通常是伴生的因为一般来说列式存储是数据压缩的前提
1.3 OLAP 场景的特征
绝大多数是读请求。 数据以相当大的批次( 1000 行)更新而不是单行更新;或者根本没有更新。 已添加到数据库的数据不能修改。 对于读取从数据库中提取相当多的行但只提取列的一小部分。 宽表即每个表包含着大量的列。 查询相对较少(通常每台服务器每秒查询数百次或更少)。 对于简单查询允许延迟大约 50 毫秒。 列中的数据相对较小数字和短字符串(例如每个 URL 60 个字节)。 处理单个查询时需要高吞吐量(每台服务器每秒可达数十亿行)。 事务不是必须的。 对数据一致性要求低。有副本情况下写入一个即可后台自动同步。 每个查询有一个大表。除了他以外其他的都很小。 查询结果明显小于源数据。换句话说数据经过过滤或聚合因此结果适合于单个服务 器的 RAM 中。
通过以上 OLAP 场景分析特点很容易可以看出OLAP 场景与其他通常业务场景(例如,OLTP 或 K/V)有很大的不同 因此想要使用 OLTP 或 Key-Value 数据库去高效的处理分析查询场景并不是非常完美的适用方案。例如使用 OLAP 数据库去处理分析请求通常要优于使用 MongoDB 或 Redis 去处理分析请求。
2. ClickHouse 特性
2.1 完备的 DBMS 功能
ClickHouse 是一个数据库管理系统而不仅是一个数据库作为数据库管理系统具备完备的管理功能 2.2 列式存储
目 前 大 数 据 存 储 有 两 种 方 案 可 以 选 择 行 式 存 储 (Row-Based) 和 列 式 存 储(Column-Based) 行式存储: 在数据写入和修改上具有优势 列式存储: 在数据读取和解析、分析数据上具有优势 案例 列式储存的好处
对于列的聚合计数求和等统计操作原因优于行式存储。由于某一列的数据类型都是相同的针对于数据存储更容易进行数据压缩每一列选择更优的数据压缩算法大大提高了数据的压缩比重。由于数据压缩比更好一方面节省了磁盘空间另一方面对于 cache 也有了更大的 发挥空间。
2.3 数据压缩 2.4 向量化执行引擎 2.5 关系模型与标准 SQL 查询 ClickHouse 是大小写敏感SELECT a 和 SELECT A 所代表的语义不同 2.6 多样化的表引擎 2.7 多线程与分布式 2.8 多主架构 2.9 交互式查询 2.10 数据分片与分布式查询
