教育 企业 重庆网站建设,什么是网站建设需求,厦门市保障性住房官网,西安建设工程招标信息网文章目录 01.Clickhouse到HBase(Phoenix)数据导入 DataX介绍下载执行同步的组件配置数据同步查看官方读写配置样例创建Hbase和Phoenix表创建ClickHouse表写入ClickHouse测试数据编写ClickHouse2Hbase配置文件执行同步命令 拓展ClickHouse同步到MySQL配置文件 01.Clickhouse到HB… 文章目录 01.Clickhouse到HBase(Phoenix)数据导入 DataX介绍下载执行同步的组件配置数据同步查看官方读写配置样例创建Hbase和Phoenix表创建ClickHouse表写入ClickHouse测试数据编写ClickHouse2Hbase配置文件执行同步命令 拓展ClickHouse同步到MySQL配置文件 01.Clickhouse到HBase(Phoenix)数据导入 DataX
介绍
DataX 是一个异构数据源离线同步工具致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
下载
# 官方版本
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz# 编译好ClickHouse和Hbase2的版本
链接https://pan.baidu.com/s/1IYU93oGOnvcx34HJaPDudQ
提取码bool解压
tar -zxvf datax.tar.gz解压后目录结构如下
[rootdev-bigdata-24-146 datax]# ls
bin conf job lib log log_perf plugin script tmp执行同步的组件
reader下是支持读的组件
writer下是支持写的组件
[rootdev-bigdata-24-146 datax]# tree -L 2 plugin/
plugin/
├── reader
│ ├── cassandrareader
│ ├── clickhousereader
│ ├── dbffilereader
│ ├── drdsreader
│ ├── elasticsearchreader
│ ├── ftpreader
│ ├── gaussdbreader
│ ├── gbasereader
│ ├── gdbreader
│ ├── hbase094xreader
│ ├── hbase11xkerberosreader
│ ├── hbase11xreader
│ ├── hbase11xsqlreader
│ ├── hbase20xsqlreader
│ ├── hdfsreader
│ ├── httpreader
│ ├── influxdbreader
│ ├── jsonfilereader
│ ├── kingbaseesreader
│ ├── kudureader
│ ├── mongodbreader
│ ├── mysql8reader
│ ├── mysqlreader
│ ├── odpsreader
│ ├── opentsdbreader
│ ├── oraclereader
│ ├── oscarreader
│ ├── ossreader
│ ├── otsreader
│ ├── otsstreamreader
│ ├── postgresqlreader
│ ├── rdbmsreader
│ ├── redisreader
│ ├── sqlserverreader
│ ├── streamreader
│ ├── tdenginereader
│ └── txtfilereader
└── writer├── adbpgwriter├── adswriter├── cassandrawriter├── clickhousewriter├── dbffilewriter├── dorisdbwriter├── doriswriter├── drdswriter├── elasticsearchwriter├── ftpwriter├── gaussdbwriter├── gbasewriter├── gdbwriter├── greenplumwriter├── hbase094xwriter├── hbase11xkerberoswriter├── hbase11xsqlwriter├── hbase11xwriter├── hbase20xsqlwriter├── hdfswriter├── influxdbwriter├── kingbaseeswriter├── kuduwriter├── mongodbwriter├── mysql8writer├── mysqlwriter├── ocswriter├── odpswriter├── oraclewriter├── oscarwriter├── osswriter├── otswriter├── postgresqlwriter├── rdbmswriter├── rediswriter├── sqlserverwriter├── streamwriter├── tdenginewriter├── tsdbwriter└── txtfilewriter配置数据同步
本文介绍使用的是CDH6.3.2所带的之间HBase 版本2.1.0版本需要安装Phoenix
Phoenix安装方法参考https://datamining.blog.csdn.net/article/details/105572156
查看官方读写配置样例
命令python bin/datax.py -r clickhousereader -w hbase20xsqlwriter
[rootjast datax]# python bin/datax.py -r clickhousereader -w hbase20xsqlwriterDataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.Please refer to the clickhousereader document:https://github.com/alibaba/DataX/blob/master/clickhousereader/doc/clickhousereader.md Please refer to the hbase20xsqlwriter document:https://github.com/alibaba/DataX/blob/master/hbase20xsqlwriter/doc/hbase20xsqlwriter.md Please save the following configuration as a json file and usepython {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json
to run the job.{job: {content: [{reader: {name: clickhousereader, parameter: {column: [], connection: [{jdbcUrl: [], table: []}], password: , username: , where: }}, writer: {name: hbase20xsqlwriter, parameter: {batchSize: 100, column: [], nullMode: skip, queryServerAddress: , schema: , serialization: PROTOBUF, table: }}}], setting: {speed: {channel: }}}
}
创建Hbase和Phoenix表
DataX中Hbase2是通过Phoenix插入所以也要同步创建Phoenix表
Hbase表创建
create test_datax,{NAMEcf}Phoenix表创建
create table test_datax(rowkey varchar primary key, cf.data_id varchar , cf.user_id varchar, cf.name varchar, cf.phone varchar, cf.pt varchar) column_encoded_bytes0;创建ClickHouse表
create table test_datax_ck
(data_id String,user_id Nullable(String),name Nullable(String),phone Nullable(String),pt String
)engine MergeTree PARTITION BY ptORDER BY (pt)SETTINGS index_granularity 8192;写入ClickHouse测试数据
insert into test_datax_ck(data_id,user_id,name,phone,pt) values (1,1,张三1,13577665544,20210101);
insert into test_datax_ck(data_id,user_id,name,phone,pt) values (2,2,张三2,13577665546,20210101);
insert into test_datax_ck(data_id,user_id,name,phone,pt) values (3,3,张三3,13577665545,20210101);
insert into test_datax_ck(data_id,user_id,name,phone,pt) values (4,4,张三4,13577665543,20210102);编写ClickHouse2Hbase配置文件
创建配置文件vim ck2hbase.json内容如下
{job:{content:[{reader:{name:clickhousereader,parameter:{column:[data_id,data_id,user_id,name,phone,pt],connection:[{jdbcUrl:[jdbc:clickhouse://172.16.24.150:8123/ms_db?socket_timeout7200000],table:[test_datax_ck]}],password:avris,username:default,where:}},writer:{name:hbase20xsqlwriter,parameter:{batchSize:100,column:[rowkey,data_id,user_id,name,phone,pt],nullMode:skip,queryServerAddress:http://172.1.24.146:8765,serialization:PROTOBUF,table:test_datax}}}],setting:{speed:{channel:1}}}
}执行同步命令
python bin/datax.py ck2hbase.json2022-04-29 15:31:51.894 [job-0] INFO JobContainer -
任务启动时刻 : 2022-04-29 15:31:48
任务结束时刻 : 2022-04-29 15:31:51
任务总计耗时 : 2s
任务平均流量 : 176B/s
记录写入速度 : 12rec/s
读出记录总数 : 12
读写失败总数 : 0https://blog.csdn.net/BOOLTechnology/article/details/120534070
拓展
ClickHouse同步到MySQL配置文件
{job: {content: [{reader: {name: clickhousereader, parameter: {column: [one_id,aid,name,phone], connection: [{jdbcUrl: [jdbc:clickhouse://172.1.24.171:8123/default?socket_timeout7200000], table: [ads_user_test]}], password: , username: , where: }}, writer: {name: mysqlwriter, parameter: {print: true,column: [one_id,aid,name,phone], connection: [{jdbcUrl: [jdbc:mysql://172.1.24.143:3306/test], table: [test20220429]}], password: root, preSql: [], session: [], username: root, writeMode: }}}], setting: {speed: {channel: }}}
} 文章转载自： http://www.morning.tqsgt.cn.gov.cn.tqsgt.cn http://www.morning.thpzn.cn.gov.cn.thpzn.cn http://www.morning.llqky.cn.gov.cn.llqky.cn http://www.morning.plznfnh.cn.gov.cn.plznfnh.cn http://www.morning.yfddl.cn.gov.cn.yfddl.cn http://www.morning.qnrpj.cn.gov.cn.qnrpj.cn http://www.morning.flncd.cn.gov.cn.flncd.cn http://www.morning.zxfdq.cn.gov.cn.zxfdq.cn http://www.morning.bxyzr.cn.gov.cn.bxyzr.cn http://www.morning.xysxj.com.gov.cn.xysxj.com http://www.morning.rrqbm.cn.gov.cn.rrqbm.cn http://www.morning.rtbj.cn.gov.cn.rtbj.cn http://www.morning.gjzwj.cn.gov.cn.gjzwj.cn http://www.morning.skrww.cn.gov.cn.skrww.cn http://www.morning.tnbas.com.gov.cn.tnbas.com http://www.morning.coffeedelsol.com.gov.cn.coffeedelsol.com http://www.morning.lmnbp.cn.gov.cn.lmnbp.cn http://www.morning.gpryk.cn.gov.cn.gpryk.cn http://www.morning.gkdhf.cn.gov.cn.gkdhf.cn http://www.morning.jzyfy.cn.gov.cn.jzyfy.cn http://www.morning.brbnc.cn.gov.cn.brbnc.cn http://www.morning.nhzps.cn.gov.cn.nhzps.cn http://www.morning.ykmtz.cn.gov.cn.ykmtz.cn http://www.morning.tpnxj.cn.gov.cn.tpnxj.cn http://www.morning.ydflc.cn.gov.cn.ydflc.cn http://www.morning.kzcfp.cn.gov.cn.kzcfp.cn http://www.morning.tgbx.cn.gov.cn.tgbx.cn http://www.morning.hongjp.com.gov.cn.hongjp.com http://www.morning.bqqzg.cn.gov.cn.bqqzg.cn http://www.morning.dphmj.cn.gov.cn.dphmj.cn http://www.morning.gydth.cn.gov.cn.gydth.cn http://www.morning.brbmf.cn.gov.cn.brbmf.cn http://www.morning.ybgyz.cn.gov.cn.ybgyz.cn http://www.morning.jpkhn.cn.gov.cn.jpkhn.cn http://www.morning.bhjyh.cn.gov.cn.bhjyh.cn http://www.morning.lmrjn.cn.gov.cn.lmrjn.cn http://www.morning.nbsbn.cn.gov.cn.nbsbn.cn http://www.morning.bbyqz.cn.gov.cn.bbyqz.cn http://www.morning.dighk.com.gov.cn.dighk.com http://www.morning.xcjwm.cn.gov.cn.xcjwm.cn http://www.morning.kgrwh.cn.gov.cn.kgrwh.cn http://www.morning.frtb.cn.gov.cn.frtb.cn http://www.morning.yxplz.cn.gov.cn.yxplz.cn http://www.morning.ghzfx.cn.gov.cn.ghzfx.cn http://www.morning.jyzqn.cn.gov.cn.jyzqn.cn http://www.morning.drfcj.cn.gov.cn.drfcj.cn http://www.morning.nwljj.cn.gov.cn.nwljj.cn http://www.morning.mmsf.cn.gov.cn.mmsf.cn http://www.morning.zmpqt.cn.gov.cn.zmpqt.cn http://www.morning.sfyqs.cn.gov.cn.sfyqs.cn http://www.morning.fjkkx.cn.gov.cn.fjkkx.cn http://www.morning.rlxnc.cn.gov.cn.rlxnc.cn http://www.morning.tlbhq.cn.gov.cn.tlbhq.cn http://www.morning.hwnqg.cn.gov.cn.hwnqg.cn http://www.morning.lbywt.cn.gov.cn.lbywt.cn http://www.morning.fkrzx.cn.gov.cn.fkrzx.cn http://www.morning.mtktn.cn.gov.cn.mtktn.cn http://www.morning.tqbw.cn.gov.cn.tqbw.cn http://www.morning.hgbzc.cn.gov.cn.hgbzc.cn http://www.morning.nxfwf.cn.gov.cn.nxfwf.cn http://www.morning.hqwcd.cn.gov.cn.hqwcd.cn http://www.morning.crqpl.cn.gov.cn.crqpl.cn http://www.morning.djbhz.cn.gov.cn.djbhz.cn http://www.morning.dndjx.cn.gov.cn.dndjx.cn http://www.morning.bdfph.cn.gov.cn.bdfph.cn http://www.morning.csjps.cn.gov.cn.csjps.cn http://www.morning.nfdty.cn.gov.cn.nfdty.cn http://www.morning.a3e2r.com.gov.cn.a3e2r.com http://www.morning.nnqrb.cn.gov.cn.nnqrb.cn http://www.morning.ghcfx.cn.gov.cn.ghcfx.cn http://www.morning.lrylj.cn.gov.cn.lrylj.cn http://www.morning.sglcg.cn.gov.cn.sglcg.cn http://www.morning.shsh1688.com.gov.cn.shsh1688.com http://www.morning.kdjtt.cn.gov.cn.kdjtt.cn http://www.morning.rbrd.cn.gov.cn.rbrd.cn http://www.morning.fycjx.cn.gov.cn.fycjx.cn http://www.morning.fpxms.cn.gov.cn.fpxms.cn http://www.morning.dbdmr.cn.gov.cn.dbdmr.cn http://www.morning.lzph.cn.gov.cn.lzph.cn http://www.morning.lbxcc.cn.gov.cn.lbxcc.cn
