摄影作品投稿平台,网站seo思路,平台公司组建方案,办公宽带多少钱一年更多技术交流、求职机会#xff0c;欢迎关注字节跳动数据平台微信公众号#xff0c;回复【1】进入官方交流群 数据导入是衡量 OLAP 引擎性能及易用性的重要标准之一#xff0c;高效的数据导入能力能够加速数据实时处理和分析的效率。
作为一款 OLAP 引擎#xff0c;火山引… 更多技术交流、求职机会欢迎关注字节跳动数据平台微信公众号回复【1】进入官方交流群 数据导入是衡量 OLAP 引擎性能及易用性的重要标准之一高效的数据导入能力能够加速数据实时处理和分析的效率。
作为一款 OLAP 引擎火山引擎云原生数据仓库 ByteHouse 源于开源 ClickHouse在字节跳动多年打磨下提供更丰富的能力和更强性能能为用户带来极速分析体验支撑实时数据分析和海量离线数据分析具备便捷的弹性扩缩容能力极致的分析性能和丰富的企业级特性。
随着 ByteHouse 内外部用户规模不断扩大 越来越多用户对数据导入提出更高的要求这也为 ByteHouse 的数据导入能力带来了更大的挑战。
从字节跳动内部来看ByteHouse 主要还是以 Kafka 为实时导入的主要数据源。对于大部分内部用户而言其数据体量偏大用户更看重数据导入的性能、服务的稳定性以及导入能力的可扩展性。在数据延时性方面用户的需求一般为秒级左右。
基于以上场景和需求ByteHouse 也进行了一系列定制性优化主要包括两个方面第一为 MaterializedMySQL 增强第二个是 HaKafka 引擎。
社区版 ClickHouse 推出了 MaterializedMySQL 数据库引擎用于将 MySQL 中的表映射到 ClickHouse 中。ClickHouse 服务作为 MySQL 副本读取 Binlog 并执行 DDL 和 DML 请求实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。这样不依赖其他数据同步工具就能将 MySQL 整库数据实时同步到 ClickHouse从而能基于 ClickHouse 构建实时数据仓库。
而 HaKafka 引擎则是 ByteHouse 推出的一种特殊的表引擎主要基于 ClickHouse 社区的 Kafka engine 进行了优化。用户可以通过一个 Kafka 消费表、分布式存储表、物化视图表三元组实现数据消费、数据转换、数据写入功能。
9 月 16 日 14:00火山引擎开发者社区与超话数据联合举办的线下沙龙将邀请到火山引擎 ByteHouse 产品专家围绕《基于 ByteHouse 引擎的增强型数据导入技术实践》展开分享为大家揭秘 MaterializedMySQL 和 HaKafka 的设计原理和技术实现教你如何更好在 OLAP 引擎中完成高性能、高易用性的数据导入。
演讲主题
《基于 ByteHouse 引擎的增强型数据导入技术实践》
主要内容 ByteHouse 数据库架构演进 增强 HaKafka 引擎实现方案 增强 MaterializedMySQL 实现方案 案例实践与未来展望
听众受益 了解 Bytehouse 基于引擎层数据导入能力 MaterializedMySQL 和 HaKafka 在业务中的实践
立即报名赢取好礼https://developer.volcengine.com/activities/7269017295253733439?utm_campaign20230916utm_contentvediutm_mediumos_todwebsite_nocontactutm_sourcecommunityutm_termmeetup12
