当前位置：首页 > news >正文

快递网站怎么做的etw做的网站

news 2025/10/24 14:31:01

快递网站怎么做的,etw做的网站,装潢设计图,军事最新消息文章目录什么是 ClickHouse#xff1f;ClickHouse 有哪些应用场景#xff1f;ClickHouse 列式存储的优点有哪些#xff1f;ClickHouse 的缺点是是什么#xff1f;ClickHouse 的架构是怎样的#xff1f;ClickHouse 的逻辑数据模型#xff1f;ClickHouse 的核心特性#… 文章目录什么是 ClickHouseClickHouse 有哪些应用场景ClickHouse 列式存储的优点有哪些ClickHouse 的缺点是是什么ClickHouse 的架构是怎样的ClickHouse 的逻辑数据模型ClickHouse 的核心特性使用 ClickHouse 时有哪些注意点ClickHouse 的引擎有哪些建表引擎参数有哪些什么是 ClickHouse ClickHouse 是近年来备受关注的开源列式数据库管理系统主要用于数据分析 OLAP领域。通过向量化执行以及对 cpu 底层指令集SIMD的使用它可以对海量数据进行并行处理从而加快数据的处理速度。ClickHouse从 OLAP 场景需求出发定制开发了一套全新的高效列式存储引擎并且实现了数据有序存储、主键索引、稀疏索引、数据 Sharding、数据 Partitioning、TTL、主备复制等丰富功能。 ClickHouse 有哪些应用场景绝大多数请求都是用于读访问的数据需要以大批次大于 1000 行进行更新而不是单行更新数据只是添加到数据库没有必要修改读取数据时会从数据库中提取出大量的行但只用到一小部分列表很“宽”即表中包含大量的列查询频率相对较低通常每台服务器每秒查询数百次或更少对于简单查询允许大约 50 毫秒的延迟列的值是比较小的数值和短字符串例如每个 URL只有 60 个字节在处理单个查询时需要高吞吐量每台服务器每秒高达数十亿行不需要事务数据一致性要求较低每次查询中只会查询一个大表。除了一个大表其余都是小表查询结果显著小于数据源。即数据有过滤或聚合。返回结果不超过单个服务器内存。 ClickHouse 列式存储的优点有哪些当分析场景中往往需要读大量行但是少数几个列时在行存模式下数据按行连续存储所有列的数据都存储在一个 block 中不参与计算的列在 IO 时也要全部读出读取操作被严重放大。而列存模式下只需要读取参与计算的列即可极大的减低了 IO cost加速了查询。同一列中的数据属于同一类型压缩效果显著。列存往往有着高达十倍甚至更高的压缩比节省了大量的存储空间降低了存储成本。更高的压缩比意味着更小的 data size从磁盘中读取相应数据耗时更短。 - 自由的压缩算法选择。不同列的数据具有不同的数据类型适用的压缩算法也就不尽相同。可以针对不同列类型选择最合适的压缩算法。高压缩比意味着同等大小的内存能够存放更多数据系统 cache 效果更好。 ClickHouse 的缺点是是什么不支持事务不支持真正的删除/更新 - 不支持二级索引join 实现与众不同不支持窗口功能元数据管理需要人为干预。 ClickHouse 的架构是怎样的 ClickHouse 采用典型的分组式的分布式架构其中 Shard集群内划分为多个分片或分组Shard 0 … Shard N通过 Shard 的线性扩展能力支持海量数据的分布式存储计算。Node每个 Shard 内包含一定数量的节点Node即进程同一 Shard 内的节点互为副本保障数据可靠。ClickHouse 中副本数可按需建设且逻辑上不同 Shard 内的副本数可不同。ZooKeeper Service集群所有节点对等节点间通过 ZooKeeper 服务进行分布式协调。 ClickHouse 的逻辑数据模型从用户使用⻆度看ClickHouse 的逻辑数据模型与关系型数据库有一定的相似一个集群包含多个数据库一个数据库包含多张表表用于实际存储数据。 ClickHouse 的核心特性列存储列存储是指仅从存储系统中读取必要的列数据无用列不读取速度非常快。ClickHouse 采用列存储这对于分析型请求非常高效。一个典型且真实的情况是如果我们需要分析的数据有 50 列而每次分析仅读取其中的 5 列那么通过列存储我们仅需读取必要的列数据相比于普通行存可减少 10 倍左右的读取、解压、处理等开销对性能会有质的影响。向量化执行在支持列存的基础上ClickHouse 实现了一套面向向量化处理的计算引擎大量的处理操作都是向量化执行的。相比于传统火山模型中的逐行处理模式向量化执行引擎采用批量处理模式可以大幅减少函数调用开销降低指令、数据的 Cache Miss提升 CPU 利用效率。并且ClickHouse可利用SIMD指令进一步加速执行效率。这部分是 ClickHouse 优于大量同类 OLAP 产品的重要因素。编码压缩由于 ClickHouse 采用列存储相同列的数据连续存储且底层数据在存储时是经过排序的这样数据的局部规律性非常强有利于获得更高的数据压缩比。此外ClickHouse除了支持 LZ### ZSTD 等通用压缩算法外还支持 Delta、DoubleDelta、Gorilla 等专用编码算法用于进一步提高数据压缩比。多索引列存用于裁剪不必要的字段读取而索引则用于裁剪不必要的记录读取。ClickHouse 支持丰富的索引从而在查询时尽可能的裁剪不必要的记录读取提高查询性能。使用 ClickHouse 时有哪些注意点分区和索引分区粒度根据业务特点决定不宜过粗或过细。一般选择按天分区也可指定为tuple()以单表 1 亿数据为例分区大小控制在 10-30 个为最佳。必须指定索引列clickhouse 中的索引列即排序列通过 order by 指定一般在查询条件中经常被用来充当筛选条件的属性被纳入进来可以是单一维度也可以是组合维度的索引通常需要满足高级列在前、查询频率大的在前原则还有基数特别大的不适合做索引列如用户表的 userid 字段通常筛选后的数据满足在百万以内为最佳。数据采样策略通过采用运算可极大提升数据分析的性能。数据量太大时应避免使用 select * 操作查询的性能会与查询的字段大小和数量成线性变换字段越少消耗的IO 资源就越少性能就会越高。千万以上数据集用 order by 查询时需要搭配 where 条件和 limit 语句一起使用。如非必须不要在结果集上构建虚拟列虚拟列非常消耗资源浪费性能可以考虑在前端进行处理或者在表中构造实际字段进行额外存储。不建议在高基列上执行 distinct 去重查询改为近似去重 uniqCombined。多表 Join 时要满足小表在右的原则右表关联时被加载到内存中与左表进行比较。存储 ClickHouse 不支持设置多数据目录为了提升数据一个券组绑定多块物理磁盘提升读写性能多数查询场景硬盘快 2-3 倍。 io 性能可以挂载虚拟券组 SSD 盘会比普通机械快 ClickHouse 的引擎有哪些 ClickHouse 提供了大量的数据引擎分为数据库引擎、表引擎根据数据特点及使用场景选择合适的引擎至关重要。 ClickHouse 引擎分类在以下几种情况下ClickHouse 使用自己的数据库引擎决定表存储在哪里以及以何种方式存储 - 支持哪些查询以及如何支持并发数据访问索引的使用是否可以执行多线程请求数据复制参数。在所有的表引擎中最为核心的当属 MergeTree 系列表引擎这些表引擎拥有最为强大的性能和最广泛的使用场合。对于非 MergeTree 系列的其他引擎而言主要用于特殊用途场景相对有限。而 MergeTree 系列表引擎是官方主推的存储引擎支持几乎所有 ClickHouse 核心功能。 MergeTree 作为家族系列最基础的表引擎主要有以下特点存储的数据按照主键排序允许创建稀疏索引从而加快数据查询速度 - 支持分区可以通过 PRIMARY KEY语句指定分区字段支持数据副本支持数据采样。建表引擎参数有哪些 ENGINEENGINE MergeTree()MergeTree 引擎没有参数。 ORDER BYorder by 设定了分区内的数据按照哪些字段顺序进行有序保存。 order by 是 MergeTree 中唯一一个必填项甚至比 primary key 还重要因为当用户不设置主键的情况很多处理会依照 order by 的字段进行处理。要求主键必须是 order by 字段的前缀字段。如果 ORDER BY与 PRIMARY KEY不同PRIMARY KEY必须是 ORDER BY的前缀(为了保证分区内数据和主键的有序性)。 ORDER BY 决定了每个分区中数据的排序规则; PRIMARY KEY 决定了一级索引(primary.idx); ORDER BY 可以指代 PRIMARY KEY, 通常只用声明 ORDER BY 即可。 PARTITION BY分区字段可选。如果不填只会使用一个分区。分区目录MergeTree 是以列文件索引文件表定义文件组成的但是如果设定了分区那么这些文件就会保存到不同的分区目录中。 PRIMARY KEY指定主键如果排序字段与主键不一致可以单独指定主键字段。否则默认主键是排序字段。可选。 SAMPLE BY采样字段如果指定了该字段那么主键中也必须包含该字段。比如 SAMPLE BY intHash32(UserID) ORDER BY (CounterID, EventDate, intHash32(UserID))。可选。 TTL数据的存活时间。在 MergeTree 中可以为某个列字段或整张表设置 TTL。当时间到达时如果是列字段级别的 TTL则会删除这一列的数据如果是表级别的 TTL则会删除整张表的数据。可选。 SETTINGS额外的参数配置。可选。
文章转载自：
http://www.morning.ahlart.com.gov.cn.ahlart.com
http://www.morning.ktrh.cn.gov.cn.ktrh.cn
http://www.morning.rnqnp.cn.gov.cn.rnqnp.cn
http://www.morning.yfqhc.cn.gov.cn.yfqhc.cn
http://www.morning.pzcqz.cn.gov.cn.pzcqz.cn
http://www.morning.lmxzw.cn.gov.cn.lmxzw.cn
http://www.morning.rmqlf.cn.gov.cn.rmqlf.cn
http://www.morning.gchqy.cn.gov.cn.gchqy.cn
http://www.morning.xqcst.cn.gov.cn.xqcst.cn
http://www.morning.ysdwq.cn.gov.cn.ysdwq.cn
http://www.morning.hqnsf.cn.gov.cn.hqnsf.cn
http://www.morning.rxhn.cn.gov.cn.rxhn.cn
http://www.morning.gbyng.cn.gov.cn.gbyng.cn
http://www.morning.hmtft.cn.gov.cn.hmtft.cn
http://www.morning.bpmnq.cn.gov.cn.bpmnq.cn
http://www.morning.qdxwf.cn.gov.cn.qdxwf.cn
http://www.morning.qhmql.cn.gov.cn.qhmql.cn
http://www.morning.gjxr.cn.gov.cn.gjxr.cn
http://www.morning.qzpkr.cn.gov.cn.qzpkr.cn
http://www.morning.rrxgx.cn.gov.cn.rrxgx.cn
http://www.morning.ktntj.cn.gov.cn.ktntj.cn
http://www.morning.wdwfm.cn.gov.cn.wdwfm.cn
http://www.morning.pmdnx.cn.gov.cn.pmdnx.cn
http://www.morning.mghgl.cn.gov.cn.mghgl.cn
http://www.morning.ktcfl.cn.gov.cn.ktcfl.cn
http://www.morning.qkskm.cn.gov.cn.qkskm.cn
http://www.morning.wsrcy.cn.gov.cn.wsrcy.cn
http://www.morning.lhqw.cn.gov.cn.lhqw.cn
http://www.morning.rbjth.cn.gov.cn.rbjth.cn
http://www.morning.jwefry.cn.gov.cn.jwefry.cn
http://www.morning.yqqxj26.cn.gov.cn.yqqxj26.cn
http://www.morning.cyjjp.cn.gov.cn.cyjjp.cn
http://www.morning.gjlml.cn.gov.cn.gjlml.cn
http://www.morning.nypsz.cn.gov.cn.nypsz.cn
http://www.morning.bnylg.cn.gov.cn.bnylg.cn
http://www.morning.ftmly.cn.gov.cn.ftmly.cn
http://www.morning.cftkz.cn.gov.cn.cftkz.cn
http://www.morning.qcymf.cn.gov.cn.qcymf.cn
http://www.morning.xlxmy.cn.gov.cn.xlxmy.cn
http://www.morning.rzmlc.cn.gov.cn.rzmlc.cn
http://www.morning.fqqcn.cn.gov.cn.fqqcn.cn
http://www.morning.chongzhanggui.cn.gov.cn.chongzhanggui.cn
http://www.morning.ltywr.cn.gov.cn.ltywr.cn
http://www.morning.tsqpd.cn.gov.cn.tsqpd.cn
http://www.morning.hrjrt.cn.gov.cn.hrjrt.cn
http://www.morning.jbfzx.cn.gov.cn.jbfzx.cn
http://www.morning.znqxt.cn.gov.cn.znqxt.cn
http://www.morning.qrksj.cn.gov.cn.qrksj.cn
http://www.morning.cybch.cn.gov.cn.cybch.cn
http://www.morning.vjdofuj.cn.gov.cn.vjdofuj.cn
http://www.morning.xlbyx.cn.gov.cn.xlbyx.cn
http://www.morning.ktpzb.cn.gov.cn.ktpzb.cn
http://www.morning.drqrl.cn.gov.cn.drqrl.cn
http://www.morning.yptwn.cn.gov.cn.yptwn.cn
http://www.morning.wskn.cn.gov.cn.wskn.cn
http://www.morning.cbnxq.cn.gov.cn.cbnxq.cn
http://www.morning.yyngs.cn.gov.cn.yyngs.cn
http://www.morning.zmbzl.cn.gov.cn.zmbzl.cn
http://www.morning.qgfkn.cn.gov.cn.qgfkn.cn
http://www.morning.ynlpy.cn.gov.cn.ynlpy.cn
http://www.morning.qklff.cn.gov.cn.qklff.cn
http://www.morning.tbjb.cn.gov.cn.tbjb.cn
http://www.morning.grxbw.cn.gov.cn.grxbw.cn
http://www.morning.qpntn.cn.gov.cn.qpntn.cn
http://www.morning.pjwfs.cn.gov.cn.pjwfs.cn
http://www.morning.hhpbj.cn.gov.cn.hhpbj.cn
http://www.morning.mwjwy.cn.gov.cn.mwjwy.cn
http://www.morning.hmsong.com.gov.cn.hmsong.com
http://www.morning.kjyqr.cn.gov.cn.kjyqr.cn
http://www.morning.rrbhy.cn.gov.cn.rrbhy.cn
http://www.morning.btlsb.cn.gov.cn.btlsb.cn
http://www.morning.nytqy.cn.gov.cn.nytqy.cn
http://www.morning.rddlz.cn.gov.cn.rddlz.cn
http://www.morning.rlzxr.cn.gov.cn.rlzxr.cn
http://www.morning.xfdkh.cn.gov.cn.xfdkh.cn
http://www.morning.dwxqf.cn.gov.cn.dwxqf.cn
http://www.morning.rnnts.cn.gov.cn.rnnts.cn
http://www.morning.bhrkx.cn.gov.cn.bhrkx.cn
http://www.morning.brsgw.cn.gov.cn.brsgw.cn
http://www.morning.qcymf.cn.gov.cn.qcymf.cn

查看全文

http://www.tj-hxxt.cn/news/245569.html