舟山公司网站制作,网站建设价目表,centos 配置wordpress,wordpress修改站点地址DataX简介 一、什么是DataX二、DataX设计三、支持的数据源四、框架设计五、运行原理六、DataX和Sqoop对比 一、什么是DataX
DataX是阿里巴巴开源的一个异构数据源离线同步工具#xff0c;致力于实现包括关系型数据库#xff08;MySQL、Oracle等#xff09;、HDFS、Hive、OD… DataX简介 一、什么是DataX二、DataX设计三、支持的数据源四、框架设计五、运行原理六、DataX和Sqoop对比 一、什么是DataX
DataX是阿里巴巴开源的一个异构数据源离线同步工具致力于实现包括关系型数据库MySQL、Oracle等、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX的github地址https://github.com/alibaba/DataX
二、DataX设计
为了解决异构数据源同步问题DataX 将复杂的网状的同步链路变成了星型数据链路,DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候只需要将此数据源对接到 Datax便能跟已有的数据源做到无缝数据同步。 DataX的设计理念是插件式的这样后续有新的数据库对源码改动是很少的。对于一个数据的驱动分为两种writer和reader
三、支持的数据源
对于文档那一列官网给出了 读和写的配置案例和参数描述
四、框架设计 Reader数据采集模块负责采集数据源的数据将数据发送给Framework。Writer数据写入模块负责不断向Framework取数据并将数据写入到目的端。Framework用于连接reader和writer作为两者的数据传输通道并处理缓冲流控并发数据转换等核心技术问题。
五、运行原理 模块说明 Job单个作业的管理节点负责数据清理、子任务划分、TaskGroup监控管理。Task由Job切分而来是DataX作业的最小单元每个Task负责一部分数据的同步工作。Schedule将Task组成TaskGroup单个TaskGroup的并发数量为5。TaskGroup负责启动Task。 举例 举例来说用户提交了一个 DataX 作业并且配置了 20 个并发目的是将一个 100 张 分表的 mysql 数据同步到 odps 里面。 DataX 的调度决策思路是 第一步DataXJob 根据分库分表切分成了 100 个 Task。第二步根据 20 个并发DataX 计算共需要分配 4 个 TaskGroup。第三步4 个 TaskGroup 平分切分好的 100 个 Task每一个 TaskGroup 负责以 5 个并发共计运行 25 个 Task。
六、DataX和Sqoop对比
功能DataXSqoop运行模式单进程多线程MR(分布式)MySQL读写单机压力大读写力度容易控制MR模式重写出错处理麻烦Hive读写单机压力大很好文件格式orc支持orc不支持可添加分布式不支持可以通过调度系统规避支持流控有流控功能需要定制统计信息已有一些统计上报需定制没有分布式的数据收集不方便数据校验在core部分有校验功能没有分布式的数据手机不方便监控需要定制需要定制
