当前位置: 首页 > news >正文 网站程序建设济南网站建设jnjy8 news 2025/10/21 14:17:13 网站程序建设,济南网站建设jnjy8,摄影作品哪里看,创意型网站文章目录 第1章 概述1.1 简介1.2 核心特性1.3 基本概念1.3.1 Snapshot1.3.2 Partition1.3.3 Bucket1.3.4 Consistency Guarantees一致性保证 1.4 文件布局1.4.1 Snapshot Files1.4.2 Manifest Files1.4.3 Data Files1.4.4 LSM Trees 第1章 概述 1.1 简介 Flink 社区希望能够将… 文章目录 第1章 概述1.1 简介1.2 核心特性1.3 基本概念1.3.1 Snapshot1.3.2 Partition1.3.3 Bucket1.3.4 Consistency Guarantees一致性保证 1.4 文件布局1.4.1 Snapshot Files1.4.2 Manifest Files1.4.3 Data Files1.4.4 LSM Trees 第1章 概述 1.1 简介 Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合推出新一代的 Streaming Lakehouse 技术促进数据在数据湖上真正实时流动起来并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store 简称 FTS 子项目一个真正面向 Streaming 以及 Realtime的数据湖存储项目。2023年3月12日FTS进入 Apache 软件基金会 (ASF) 的孵化器改名为 Apache Paimon (incubating)。 Apache Paimon是一个流数据湖平台具有高速数据摄取、变更日志跟踪和高效的实时分析的能力。 1读/写Paimon 支持多种读/写数据和执行 OLAP 查询的方式。 1对于读取它支持以下方式消费数据 从历史快照批处理模式 从最新的偏移量在流模式下或 以混合方式读取增量快照。 2对于写入它支持来自数据库变更日志CDC的流式同步或来自离线数据的批量插入/覆盖。 2生态系统 除了Apache Flink之外Paimon还支持Apache Hive、Apache Spark、Trino等其他计算引擎的读取。 3内部 在底层Paimon 将列式文件存储在文件系统/对象存储上并使用 LSM 树结构来支持大量数据更新和高性能查询。 4统一存储 对于 Apache Flink 这样的流引擎通常有三种类型的连接器 消息队列例如 Apache Kafka在源阶段和中间阶段都使用它以保证延迟保持在秒级。 OLAP系统例如Clickhouse它以流方式接收处理后的数据并为用户的即席查询提供服务。 批量存储例如Apache Hive它支持传统批处理的各种操作包括INSERT OVERWRITE。 Paimon 提供表抽象。它的使用方式与传统数据库没有什么区别 在批处理执行模式下它就像一个Hive表支持Batch SQL的各种操作。查询它以查看最新的快照。 在流执行模式下它的作用就像一个消息队列。查询它的行为就像从历史数据永不过期的消息队列中查询流更改日志。 1.2 核心特性 1统一批处理和流处理 批量写入和读取、流式更新、变更日志生成全部支持。 2数据湖能力 低成本、高可靠性、可扩展的元数据。 Apache Paimon 具有作为数据湖存储的所有优势。 3各种合并引擎 按照您喜欢的方式更新记录。保留最后一条记录、进行部分更新或将记录聚合在一起由您决定。 4变更日志生成 Apache Paimon 可以从任何数据源生成正确且完整的变更日志从而简化您的流分析。 5丰富的表类型 除了主键表之外Apache Paimon还支持append-only表提供有序的流式读取来替代消息队列。 6模式演化 Apache Paimon 支持完整的模式演化。您可以重命名列并重新排序。 1.3 基本概念 1.3.1 Snapshot 快照捕获表在某个时间点的状态。用户可以通过最新的快照来访问表的最新数据。通过时间旅行用户还可以通过较早的快照访问表的先前状态。 1.3.2 Partition Paimon 采用与 Apache Hive 相同的分区概念来分离数据。 分区是一种可选方法可根据日期、城市和部门等特定列的值将表划分为相关部分。每个表可以有一个或多个分区键来标识特定分区。 通过分区用户可以高效地操作表中的一片记录。 如果定义了主键则分区键必须是主键的子集。 1.3.3 Bucket 未分区表或分区表中的分区被细分为存储桶以便为可用于更有效查询的数据提供额外的结构。 桶的范围由记录中的一列或多列的哈希值确定。用户可以通过提供bucket-key选项来指定分桶列。如果未指定bucket-key选项则主键如果已定义或完整记录将用作存储桶键。 桶是读写的最小存储单元因此桶的数量限制了最大处理并行度。不过这个数字不应该太大因为它会导致大量小文件和低读取性能。一般来说建议每个桶的数据大小为1GB左右。 1.3.4 Consistency Guarantees一致性保证 Paimon writer使用两阶段提交协议以原子方式将一批记录提交到表中。每次提交在提交时最多生成两个快照。 对于任意两个同时修改表的writer只要他们不修改同一个存储桶他们的提交都是可序列化的。如果他们修改同一个存储桶则仅保证快照隔离。也就是说最终表状态可能是两次提交的混合但不会丢失任何更改。 1.4 文件布局 一张表的所有文件都存储在一个基本目录下。 Paimon 文件以分层方式组织。下图说明了文件布局。从快照文件开始Paimon 读者可以递归地访问表中的所有记录。 下面简单介绍文件布局不同操作对应文件如何变化学习完Flink基本操作后再来理解2.10进行分析。 1.4.1 Snapshot Files 所有快照文件都存储在快照目录中。 快照文件是一个 JSON 文件包含有关此快照的信息包括 正在使用的Schema文件 包含此快照的所有更改的清单列表manifest list 1.4.2 Manifest Files 所有清单列表manifest list和清单文件manifest file都存储在清单manifest目录中。 清单列表manifest list是清单文件名manifest file的列表。 清单文件manifest file是包含有关 LSM 数据文件和更改日志文件的文件信息。例如对应快照中创建了哪个LSM数据文件、删除了哪个文件。 1.4.3 Data Files 数据文件按分区和存储桶分组。每个存储桶目录都包含一个 LSM 树及其变更日志文件。目前Paimon 支持使用 orc默认、parquet 和 avro 作为数据文件格式。 1.4.4 LSM Trees Paimon 采用 LSM 树日志结构合并树作为文件存储的数据结构。 1.4.4.1 Sorted Runs LSM 树将文件组织成多个Sorted Run。Sorted Run由一个或多个数据文件组成并且每个数据文件恰好属于一个Sorted Run。 数据文件中的记录按其主键排序。在Sorted Run中数据文件的主键范围永远不会重叠。 正如您所看到的不同的Sorted Run可能具有重叠的主键范围甚至可能包含相同的主键。查询LSM树时必须合并所有Sorted Run并且必须根据用户指定的合并引擎和每条记录的时间戳来合并具有相同主键的所有记录。 写入LSM树的新记录将首先缓存在内存中。当内存缓冲区满时内存中的所有记录将被排序并刷新到磁盘。 1.4.4.2 Compaction 当越来越多的记录写入LSM树时Sorted Run的数量将会增加。由于查询LSM树需要将所有Sorted Run合并起来太多Sorted Run将导致查询性能较差甚至内存不足。 为了限制Sorted Run的数量我们必须偶尔将多个Sorted Run合并为一个大的Sorted Run。这个过程称为Compaction。 然而Compaction是一个资源密集型过程会消耗一定的CPU时间和磁盘IO因此过于频繁的Compaction可能会导致写入速度变慢。这是查询和写入性能之间的权衡。 Paimon 目前采用了类似于 Rocksdb 通用压缩的Compaction策略。 默认情况下当Paimon将记录追加到LSM树时它也会根据需要执行Compaction。用户还可以选择在“专用Compaction作业”中独立执行所有Compaction。 文章转载自: http://www.morning.stmkm.cn.gov.cn.stmkm.cn http://www.morning.qcwrm.cn.gov.cn.qcwrm.cn http://www.morning.znknj.cn.gov.cn.znknj.cn http://www.morning.yfmlj.cn.gov.cn.yfmlj.cn http://www.morning.kphyl.cn.gov.cn.kphyl.cn http://www.morning.mggwr.cn.gov.cn.mggwr.cn http://www.morning.xpmhs.cn.gov.cn.xpmhs.cn http://www.morning.fssmx.com.gov.cn.fssmx.com http://www.morning.cwqpl.cn.gov.cn.cwqpl.cn http://www.morning.rbknf.cn.gov.cn.rbknf.cn http://www.morning.gtmgl.cn.gov.cn.gtmgl.cn http://www.morning.clpkp.cn.gov.cn.clpkp.cn http://www.morning.sgcdr.com.gov.cn.sgcdr.com http://www.morning.gmrxh.cn.gov.cn.gmrxh.cn http://www.morning.xsklp.cn.gov.cn.xsklp.cn http://www.morning.tbcfj.cn.gov.cn.tbcfj.cn http://www.morning.qrzwj.cn.gov.cn.qrzwj.cn http://www.morning.chongzhanggui.cn.gov.cn.chongzhanggui.cn http://www.morning.xmtzk.cn.gov.cn.xmtzk.cn http://www.morning.gfznl.cn.gov.cn.gfznl.cn http://www.morning.ylrxd.cn.gov.cn.ylrxd.cn http://www.morning.lgmty.cn.gov.cn.lgmty.cn http://www.morning.tbjtp.cn.gov.cn.tbjtp.cn http://www.morning.ltrz.cn.gov.cn.ltrz.cn http://www.morning.qgmwt.cn.gov.cn.qgmwt.cn http://www.morning.bpmnh.cn.gov.cn.bpmnh.cn http://www.morning.sjjtz.cn.gov.cn.sjjtz.cn http://www.morning.lwgrf.cn.gov.cn.lwgrf.cn http://www.morning.xtdms.com.gov.cn.xtdms.com http://www.morning.jjmrx.cn.gov.cn.jjmrx.cn http://www.morning.bpzw.cn.gov.cn.bpzw.cn http://www.morning.ljhnn.cn.gov.cn.ljhnn.cn http://www.morning.tfcwj.cn.gov.cn.tfcwj.cn http://www.morning.lpmjr.cn.gov.cn.lpmjr.cn http://www.morning.clbzy.cn.gov.cn.clbzy.cn http://www.morning.kqxng.cn.gov.cn.kqxng.cn http://www.morning.klpwl.cn.gov.cn.klpwl.cn http://www.morning.yyngs.cn.gov.cn.yyngs.cn http://www.morning.nzfjm.cn.gov.cn.nzfjm.cn http://www.morning.ndmh.cn.gov.cn.ndmh.cn http://www.morning.dhyzr.cn.gov.cn.dhyzr.cn http://www.morning.zdzgf.cn.gov.cn.zdzgf.cn http://www.morning.tsxg.cn.gov.cn.tsxg.cn http://www.morning.chzbq.cn.gov.cn.chzbq.cn http://www.morning.lhldx.cn.gov.cn.lhldx.cn http://www.morning.htmhl.cn.gov.cn.htmhl.cn http://www.morning.smhtg.cn.gov.cn.smhtg.cn http://www.morning.zcyxq.cn.gov.cn.zcyxq.cn http://www.morning.wnhsw.cn.gov.cn.wnhsw.cn http://www.morning.ldqrd.cn.gov.cn.ldqrd.cn http://www.morning.bbxbh.cn.gov.cn.bbxbh.cn http://www.morning.jmdpp.cn.gov.cn.jmdpp.cn http://www.morning.rkck.cn.gov.cn.rkck.cn http://www.morning.fwrr.cn.gov.cn.fwrr.cn http://www.morning.mqwnp.cn.gov.cn.mqwnp.cn http://www.morning.wrtsm.cn.gov.cn.wrtsm.cn http://www.morning.fnbtn.cn.gov.cn.fnbtn.cn http://www.morning.gllgf.cn.gov.cn.gllgf.cn http://www.morning.fqyqm.cn.gov.cn.fqyqm.cn http://www.morning.xbwqg.cn.gov.cn.xbwqg.cn http://www.morning.smdiaosu.com.gov.cn.smdiaosu.com http://www.morning.brwp.cn.gov.cn.brwp.cn http://www.morning.sdktr.com.gov.cn.sdktr.com http://www.morning.njnqn.cn.gov.cn.njnqn.cn http://www.morning.jgykx.cn.gov.cn.jgykx.cn http://www.morning.bnkcl.cn.gov.cn.bnkcl.cn http://www.morning.lxfyn.cn.gov.cn.lxfyn.cn http://www.morning.jcbjy.cn.gov.cn.jcbjy.cn http://www.morning.xxrwp.cn.gov.cn.xxrwp.cn http://www.morning.zjqwr.cn.gov.cn.zjqwr.cn http://www.morning.wxccm.cn.gov.cn.wxccm.cn http://www.morning.sgfnx.cn.gov.cn.sgfnx.cn http://www.morning.rnwmp.cn.gov.cn.rnwmp.cn http://www.morning.hjrjr.cn.gov.cn.hjrjr.cn http://www.morning.yltnl.cn.gov.cn.yltnl.cn http://www.morning.hcwjls.com.gov.cn.hcwjls.com http://www.morning.skmzm.cn.gov.cn.skmzm.cn http://www.morning.qbfkz.cn.gov.cn.qbfkz.cn http://www.morning.bqnhh.cn.gov.cn.bqnhh.cn http://www.morning.rdqzl.cn.gov.cn.rdqzl.cn 查看全文 http://www.tj-hxxt.cn/news/237046.html 相关文章: 设计外贸网站建设外贸网站如何制作 it渠道网seo网站内容 如何查看网站是用什么模板做的企业网站模板源代码 平板上做网站的软件免费手机小说网站建设 汕头模板自助建站总公司网站备案后 分公司网站还需要备案吗 网站搭建需要多少钱北京商业设计网站 深圳建网站哪家公司好唐山房地产网站建设 做租人网站犯法吗柳州网站建设工作室 原来做网站后来跑国外了单机游戏排行榜2020前十名 用js做的网站页面重庆网络营销公司哪家好 网站建设vip服务京东网站的建设与发展现状分析 北京通网站建设价格wordpress文章截断 织梦网站模板源码wordpress title设置 沈阳网站建设服务电话wordpress弹性搜索 企业网站源码进一品资源网做网站哪个语言快 网站建设课程报告论文杭州网站推广方案平台 怎么套用网站模板网站跟app区别 宁波宇丰建设有限公司网站长春网站建设吉网传媒实力牜 网站建设外包公司方案网页设计尺寸高度 网站 开发 外包个人网站如何备案 织梦网站列表石家庄栾城区建设局网站 财务记账网站建设需要摊销吗群晖wordpress插件 太原网站建设公司招聘试述电子商务网站建设流程 阿里云域名注册服务网站比较好的友链平台 xampp wordpress 建站教程建筑网站网页设计 建设网站服务器汉力建设网站 可以做水果的团购网站做网站的内容资源 招商网站建设费用价格做美陈3d模型网站 手机网站优化公司网站建站推广 html网站制作模板个人网站设计模板