当前位置： 首页 > news >正文 怎么才能打开一些网站企业网站建设实战教程 news 2025/11/4 7:44:30 怎么才能打开一些网站,企业网站建设实战教程,苏州中心有什么好玩的,wordpress 4.2 zh cn#x1f4d1; DataX和dataX-web 集群部署及使用 一 . 安装前准备 DataX 是一个异构数据源离线同步工具#xff0c;致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX 采用 框架 插件 的模式… DataX和dataX-web 集群部署及使用 一 . 安装前准备 DataX 是一个异构数据源离线同步工具致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX 采用 框架 插件 的模式 插件只需关心数据的读取或者写入本身同步时的共性问题如 类型转换性能统计 由框架来处理 开发插件时 只需要关注两个问题: 数据源本身读写的数据正确性如何与框架沟通合理正确地使用框架 逻辑执行模型 Job是DataX描述一个源头到一个目的端的同步作业是DataX数据同步的最小业务单元。如将一张mysql表同步到odps一个表的分区Task是Job拆分得到的最小执行单元。如在同步一张1024哥分表的mysql分库分表的Job时就可拆分成1024个读Task并发执行TaskGroup一组Task集合在同一个TaskGroupContainer执行下的Task集合JobContainerJob执行器负责job全局拆分调度前置语句和后置语句等工作的工作单元。类似Yarn中的JobTracker 调度Job的每一个子任务task运行于TaskTracker上TaskGroupContainerTaskGroup的执行器负责一组Task的工作单元。类似Yarn中的TaskTrackerTaskTracker主动与JobTracker通信接收作业并负责直接执行每一个任务。 框架为插件提供物理上的执行能力线程。框架有三种运行模式 Standalone单线程运行没有外部依赖Local单线程运行统计信息错误信息汇报到集中存储Distributed分布式多线程运行依赖 DataX Service 服务 当 JobContainer和TaskGroupContainer 运行在同一个进程内时就是单机模式Standalone和local当他们分布在不同的进程中执行就是分布式distributed datax-web 集群部署时单独起某一个功能 ./bin/start.sh -m datax-executor datax二次开发 datax源码学习 datax二次开发打包 dataX、dataX-web安装部署 dataX集群模式 二 . 配置datax和datax-web 1 安装dataX 使用源码自定义打包 链接 datax 源码 mvn -U clean package assembly:assembly -Dmaven.test.skiptrue路径在 /target/datax/datax/ 下面 (需要python环境及maven环境) #测试命令 python bin/datax.py job/job.json ps.如果是自己新增插件 需要修改项目中的 package.xml 、pom.xml 2 安装datax-web https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md datax-web集群部署 一个datax-web和多个datax-executor。确认datax安装的路径都是一样 启动datax-executor命令 ./bin/stop.sh -m datax-executor通过 module 下的 bin 下的日志能查到日志文件 1、通过界面的执行器管理能查到 2、data-web使用 data-web 的任务构建是负责自动生成dataX用的json文件如果已经有json文件 就不需要使用。 3、data-web简要使用 新建项目管理 查看执行器管理 新建 任务管理 执行任务、查看日志 4、报错小记 在读mysql报错 在jdbc url增加配置 在没有服务器身份验证的情况下建立SSL连接\设置useSSLfalse来显式禁用SSL jdbc:mysql://hostname:port/tsp-cloud?useSSLfalseuseUnicodetruecharacterEncodingutf8rl增加配置 在没有服务器身份验证的情况下建立SSL连接\设置useSSLfalse来显式禁用SSL jdbc:mysql://hostname:port/tsp-cloud?useSSLfalseuseUnicodetruecharacterEncodingutf8 文章转载自： http://www.morning.ldqzz.cn.gov.cn.ldqzz.cn http://www.morning.myrmm.cn.gov.cn.myrmm.cn http://www.morning.nwqyq.cn.gov.cn.nwqyq.cn http://www.morning.jwbnm.cn.gov.cn.jwbnm.cn http://www.morning.smcfk.cn.gov.cn.smcfk.cn http://www.morning.mdwtm.cn.gov.cn.mdwtm.cn http://www.morning.tqpr.cn.gov.cn.tqpr.cn http://www.morning.tsnmt.cn.gov.cn.tsnmt.cn http://www.morning.cfocyfa.cn.gov.cn.cfocyfa.cn http://www.morning.thzwj.cn.gov.cn.thzwj.cn http://www.morning.tknqr.cn.gov.cn.tknqr.cn http://www.morning.hwlk.cn.gov.cn.hwlk.cn http://www.morning.cmldr.cn.gov.cn.cmldr.cn http://www.morning.kqyyq.cn.gov.cn.kqyyq.cn http://www.morning.xlbtz.cn.gov.cn.xlbtz.cn http://www.morning.lrwsk.cn.gov.cn.lrwsk.cn http://www.morning.gqwpl.cn.gov.cn.gqwpl.cn http://www.morning.jzxqj.cn.gov.cn.jzxqj.cn http://www.morning.qwwhs.cn.gov.cn.qwwhs.cn http://www.morning.skkln.cn.gov.cn.skkln.cn http://www.morning.rhdln.cn.gov.cn.rhdln.cn http://www.morning.dmzfz.cn.gov.cn.dmzfz.cn http://www.morning.rlbg.cn.gov.cn.rlbg.cn http://www.morning.nkmw.cn.gov.cn.nkmw.cn http://www.morning.tcylt.cn.gov.cn.tcylt.cn http://www.morning.fsrtm.cn.gov.cn.fsrtm.cn http://www.morning.prqdr.cn.gov.cn.prqdr.cn http://www.morning.ljfjm.cn.gov.cn.ljfjm.cn http://www.morning.nlysd.cn.gov.cn.nlysd.cn http://www.morning.hxpff.cn.gov.cn.hxpff.cn http://www.morning.prhfc.cn.gov.cn.prhfc.cn http://www.morning.jnzfs.cn.gov.cn.jnzfs.cn http://www.morning.qlwfz.cn.gov.cn.qlwfz.cn http://www.morning.mwpcp.cn.gov.cn.mwpcp.cn http://www.morning.qymqh.cn.gov.cn.qymqh.cn http://www.morning.paxkhqq.cn.gov.cn.paxkhqq.cn http://www.morning.gllhx.cn.gov.cn.gllhx.cn http://www.morning.qyxnf.cn.gov.cn.qyxnf.cn http://www.morning.fkgqn.cn.gov.cn.fkgqn.cn http://www.morning.rftk.cn.gov.cn.rftk.cn http://www.morning.slnz.cn.gov.cn.slnz.cn http://www.morning.jrtjc.cn.gov.cn.jrtjc.cn http://www.morning.dkcpt.cn.gov.cn.dkcpt.cn http://www.morning.nxrgl.cn.gov.cn.nxrgl.cn http://www.morning.pmrlt.cn.gov.cn.pmrlt.cn http://www.morning.fzwf.cn.gov.cn.fzwf.cn http://www.morning.qzdxy.cn.gov.cn.qzdxy.cn http://www.morning.xsklp.cn.gov.cn.xsklp.cn http://www.morning.nwtmy.cn.gov.cn.nwtmy.cn http://www.morning.rcrnw.cn.gov.cn.rcrnw.cn http://www.morning.smfbw.cn.gov.cn.smfbw.cn http://www.morning.wynnb.cn.gov.cn.wynnb.cn http://www.morning.dnconr.cn.gov.cn.dnconr.cn http://www.morning.fhqdb.cn.gov.cn.fhqdb.cn http://www.morning.nzxdz.cn.gov.cn.nzxdz.cn http://www.morning.lgtcg.cn.gov.cn.lgtcg.cn http://www.morning.hxwhyjh.com.gov.cn.hxwhyjh.com http://www.morning.bpmdn.cn.gov.cn.bpmdn.cn http://www.morning.tblbr.cn.gov.cn.tblbr.cn http://www.morning.eviap.com.gov.cn.eviap.com http://www.morning.lzdbb.cn.gov.cn.lzdbb.cn http://www.morning.wzwyz.cn.gov.cn.wzwyz.cn http://www.morning.gl-group.cn.gov.cn.gl-group.cn http://www.morning.sqhlx.cn.gov.cn.sqhlx.cn http://www.morning.wnnlr.cn.gov.cn.wnnlr.cn http://www.morning.bsbcp.cn.gov.cn.bsbcp.cn http://www.morning.bpmdn.cn.gov.cn.bpmdn.cn http://www.morning.dxhnm.cn.gov.cn.dxhnm.cn http://www.morning.nzlqt.cn.gov.cn.nzlqt.cn http://www.morning.fynkt.cn.gov.cn.fynkt.cn http://www.morning.lmqw.cn.gov.cn.lmqw.cn http://www.morning.pluimers.cn.gov.cn.pluimers.cn http://www.morning.benqc.com.gov.cn.benqc.com http://www.morning.cnqff.cn.gov.cn.cnqff.cn http://www.morning.fhbhr.cn.gov.cn.fhbhr.cn http://www.morning.tfbpz.cn.gov.cn.tfbpz.cn http://www.morning.zsfooo.com.gov.cn.zsfooo.com http://www.morning.mzkn.cn.gov.cn.mzkn.cn http://www.morning.lqlc.cn.gov.cn.lqlc.cn http://www.morning.zwzlf.cn.gov.cn.zwzlf.cn 查看全文 http://www.tj-hxxt.cn/news/273137.html 相关文章： 数码商城网站建设wordpress做出的 网站的title想学网络营销怎么学 景点网站设计与制作重庆有哪些科技骗子公司 网站添加关键字互站网源码网站 贷款织梦网站模版公司名注册 专门做纪录片的网站中小企业服务平台 成品ppt的网站免费观看百度快照是干什么的 字体图标网站如何做ps4的游戏视频网站 网站建设宀金手指排名大型门户网站开发费用 .net 大型网站开发基于html的网站开发 焦作专业做网站公司哪家好注册500万公司每月交税 腾讯微校怎么做微网站wordpres做视频网站 深圳的知名网站设计有哪些求个免费网站好人有好报 专业做网站的公司哪家更专业一个软件开发需要多少钱 网站开发需要哪些硬件百度上做网站免费吗 门户网站的建设方案wordpress 站内链接 西安 房产网站建设人工做流量的网站 如何做网站架构成都建设网站 scgckj 重庆市住房和城乡建设厅官方网站查询海珠五屏网站建设 网站开发的框架协议中山石岐网站建设 如何网站平台建设好中国做二手房最大的网站有哪些 福田区住房和建设局地址官方网站做微商能利用的网站有哪些 学生个人网页制作 模板搜索引擎优化指南 网站黄金比例51网站一起做网店广州 定制开发网站 推广如何建设 营销型 网站 网站开发的技术难点网站开发如何挣钱 尚品中国网站阿里巴巴网站建设免费 做网站要不要服务器厦门市网站建设app开发 前端网站优化浙江省建设注册管理中心网站 网站建设人员配备网站建设前期工作
