深圳找个人做网站,wordpress有什么有趣的插件,网站内页301重定向怎么做,网站建设龙采科技近期#xff0c;Databend Labs 联合创始人张雁飞发表了题为「Serverless 数仓技术与挑战」的主题分享。以下为本次分享的精彩内容#xff1a; 主题#xff1a; 「Serverless 数仓技术与挑战」
演讲嘉宾#xff1a; 张雁飞
嘉宾介绍#xff1a; Databend Labs 联合创始人…近期Databend Labs 联合创始人张雁飞发表了题为「Serverless 数仓技术与挑战」的主题分享。以下为本次分享的精彩内容 主题 「Serverless 数仓技术与挑战」
演讲嘉宾 张雁飞
嘉宾介绍 Databend Labs 联合创始人。前青云数据库团队负责人、开源 Databend 项目主要负责人。
演讲大纲 传统数仓在扩展性、成本和管理等方面具有局限性。在本次分享中我们将介绍一种新型的 Serverless 数仓技术这种技术不仅能够解决传统数仓的痛点还能显著提升性能并降低成本。此外我们还将讨论 Serverless 数仓所面临的技术挑战。
传统数仓的局限性理想的 Serverless 数仓架构如何实现 Serverless 数仓以及有哪些挑战
以下为本次演讲的精彩内容
当今2023大数据分析新问题
大数据分析面临的新问题 近 5 年生产了 ~90% 数据 根据 IDC 的统计和预测近 5 年来产生了大约 90% 的数据。这里用的单位是 zttabytesZB1024PB 1EB1024EB 1ZB 是一个非常庞大的数字。过去的大数据架构难以适应当下的数据规模亟需变更怎么样才能做到弹性和 Serverless 拓展从而匹配业务增长 计算和存储成本高昂 在企业的IT基础设施中云厂商提供的计算和存储服务导致了高昂的成本。经测算如果为 EC2 实例创建总容量为 500TB 的 SSDGP2存储每个月在 EBS 服务上将会花费超过 7 万 5 千美元。如何才能在保证低廉成本的同时满足业务性能需求提供经济、高效能的大数据架构 大数据平台越来越复杂 上图是知名投资机构 a16z 绘制的统一数据基础设施架构全景图不难看出庞大的数据量和复杂的数据需求导致大数据平台也变得日益复杂需要数十种工具紧密协作对于产品生态愈发严苛的要求。如何无缝与其他工具进行集成并且复用现有基础设施
大数据架构能否完美实现
上述这些问题为大数据架构提出了新的要求特别是在以下几个维度上能否做到“完美”实现
存储成本极致低廉计算控制极致精细支持算子在 Lambda 函数中运行集群控制极致弹性按需伸缩、启停架构特点all-in-one platform完全 Serverless 化未来规划为未来的云端大数据做好准备
传统数仓架构 vs. 弹性数仓架构
在进入到架构对比之前我们先来看一个成本估测公式Cost Resource * Time 也就是成本大致可以用资源与时间的乘积进行测算。
传统数仓架构 传统数仓往往采用 Shared-Nothing 架构存储、计算一体化设计弹性相对较弱。而且由于调度上采用资源固定Fixed-Set式调度策略资源控制粒度粗也会带来更多的成本。
对应到成本估测公式上在时间一定的情况下由于耗费资源数量较大成本将会居高不下。
弹性数仓架构 弹性数仓则采用 Shared-Storage 架构底层可以使用对象存储真正做到存储、计算分离从而支持实时弹性扩容和缩容以及资源按需Workload-Based式调度资源控制粒度更细。
对应到成本估测公式上相较于传统数仓弹性数仓的成本将会显著降低存储成本可以按实际使用量折算不需要为冗余的存储进行服务而计算成本则根据业务需要实时调度按需启停按量计费无需保有大量空闲计算资源。
Databend: 新一代云数仓架构设计
新一代云数仓的架构新在哪里影响现代云数仓架构设计的因素和挑战都有哪些这一部分将会给你答案。
新一代云数仓
现有数仓的局限
ClickHouse 是一款流行的开源数仓以性能卓越著称。采用向量化计算技术细节优化非常到位。具有 Pipeline 处理器和调度器以及 MergeTree Wide-Column 存储引擎单机性能非常强悍。
缺点 分布式能力弱无法应对复杂分析运维复杂度高不是为云设计。
Snowflake 则是一款云数仓支持多租户存储、计算分离。基于对象存储存储介质便宜。弹性能力非常强悍面向云架构设计。
缺点 单机性能一般比较依赖分布式集群能力。
Databend ClickHouse Snowflake Rust
前面列出的是目前在开源和商业化领域领先的两款数仓产品看上去性能和弹性无法兼得想要低成本和弹性计算是不是就必须放弃单节点的极致优化呢我们来看一下 Databend 交出的答卷。
借鉴 ClickHouse 向量化计算提升单机计算性能。借鉴 Snowflake 存储、计算分离思想提升分布式计算能力。借鉴 GitMVCC 列式存储引擎支持 Insert / Read / Delete / Update / Merge 等操作以及 Time Travel 等高级特性。全面支持 HDFS 、基于云的对象存储、IPFS 等 20 多种存储协议。基于便宜的对象存储也能方便的做实时性分析。完全使用 Rust 研发超过 33 万行代码研发第一天就在 Github 开源。高弹性 强分布式致力于解决大数据分析成本和复杂度问题。
云数仓架构设计
Databend Cloud 架构全景图
Databend Cloud 是基于开源云原生数仓项目 Databend 打造的一款易用、低成本、高性能的新一代大数据分析平台提供一站式 SaaS 服务免运维、开箱即用。下面是 Databend Cloud 的架构全景图也是 Databend Labs 团队对新一代云数仓的架构的设计与实现。 影响云数仓架构设计的因素与挑战
Databend / Databend Cloud 之所以演化出现在的架构是因为新一代云数仓除了要在性能上比肩传统数仓、弹性上对标弹性数仓之外还必须解决下面几个重要的问题
Ingest 海量数据网络费用问题传统 INSERT 模式费用昂贵需要一套基于 S3 的免费方案。对象存储不是为数仓而设计延迟和性能如何平衡Network-Bound - IO-Bound - CPU-Bound 。如何让系统更加智能根据查询模式自动创建索引如何让某些场景的 Query 越跑越快...如何面向 Warehouse Datalake 双重需求设计
前两个问题是云带来的挑战而后两个问题将直面用户需求一旦考虑清楚这些问题云数仓的架构也就呼之欲出了。
Databend 生态全景图
数仓的产品的成败除了本身的设计和实现之外也非常依赖数据生态其关键在于解决数据的输入与输出问题。
Databend 自身支持一定 ETL 能力能够使用 Stage 和 Multiple Catalog 挂载外部数据源提供全量、增量、条件等多种导入方式支持使用 PRESIGN 上传和下载数据。
Databend 积极融入大数据生态拓展「Databend 朋友圈」提供全链路解决方案帮助用户将数据转化为商业洞见。 Databend 为用户提供价值
Databend 是一款开源、开放运维简单、分钟级部署为云端海量数据分析而设计的新一代云数仓。
我们在前面介绍了 Databend 的设计与实现以及在生态方面做的一些努力但产品是否能够占据市场、满足用户需求还需要靠数据说话。
Databend v1.0 于 2023 年 3 月 5 日正式发布目前处于 v1.2 版本我们统计了以下几条关键数据
替换 Trino/Presto 场景成本降低了 75%替换 Elasticsearch 场景成本降低了 90%归档场景成本降低了 95%日志和历史订单分析场景成本降低了 75%~1PB/天2023.9 统计在使用 Databend 写入公有云对象存储用户来自欧洲、北美、东南亚、印度、非洲、中国等地每月节省数百万美元
以下是一些在生产环境中使用 Databend 的用户感谢他们一直以来的支持与陪伴。我们将继续提供更有价值的服务。 Databend 在开源社区
Databend 从第一天起就在 GitHub 上开源目前已经成为 Rust 社区中的明星数据库项目。我们与上下游社区紧密协作共同建设 Rust 大数据生态。Databend 目前的贡献者中不乏大公司背景比如 SAP、Yahoo、Fortinet、Shopee、Alibaba、Tencent、ByteDance、EMQ、快手Databend 社区正在被顶级需求、顶级场景驱动。 体验 Databend
最后欢迎大家体验 Databend 产品与生态与我们共同建设坚实可靠的大数据基础设施。 本地部署可以尝试我们的社区版本官网地址是https://databend.rs 。 同时也欢迎访问 Serverless Cloud 体验 Databend 在云上的澎湃动力 海外AWS / GCPhttps://app.databend.com国内阿里云 / 腾讯云 / 华为云https://app.databend.cn
点击下方「阅读原文」即可获取演讲 PPT 。
