当前位置： 首页 > news >正文 网站建设结构总结招商网站如何做推广 news 2025/10/22 1:42:32 网站建设结构总结,招商网站如何做推广,怎么注册工作邮箱,万盛网站制作背景 业务需求希望把Oracle数据库中的数据#xff0c;迁移至MySql数据库中#xff0c;因为需要迁移全量和增量的数据#xff0c;所以希望想用数据迁移工具进行操作。 经过一些调研查询#xff0c;最终打算使用DataX进行数据的迁移。 DataX简单介绍 DataX 是阿里云 DataW…背景 业务需求希望把Oracle数据库中的数据迁移至MySql数据库中因为需要迁移全量和增量的数据所以希望想用数据迁移工具进行操作。 经过一些调研查询最终打算使用DataX进行数据的迁移。 DataX简单介绍 DataX 是阿里云 DataWorks数据集成 的开源版本在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。 项目搭建 环境配置 jdk:1.8 IDEA:2023.2 1.clone源代码 DataX源码地址:https://github.com/alibaba/DataX 这里可以用各自习惯的方式进行clone源代码至项目中然后打开项目等待依赖下载完成。如果这里导入太慢可以在maven里的settings.xml配置阿里云的镜像地址如下 idalimaven/id namealiyun maven/name urlhttp://maven.aliyun.com/nexus/content/groups/public//url mirrorOfcentral/mirrorOf /mirror2.编译打包源码 可以用IDEA中的maven工具进行编译打包源码clean(清理)package(打包) 等待编译打包完成可以在项目文件目录/core下方生成了一个target文件夹主要是需要用下方datax里面的内容。 也可以复制出来放在桌面上(地址:/Users/用户名/Desktop/datax[MacOS地址win可以自行使用文件夹地址])将打包后的文件提取出来待后续配置配置完成可移植至迁移源服务器上用python进行运行这样就无需放一个大项目在服务器上进行运行。 3.配置编译后的包 可以看到文件夹下方的包目录结构如下图 我们需要首先修改conf文件夹下的core.json配置修改里面的core.transport.speed.byte,只要不为-1即可值可以任意写比如把byte设置为2000000表示单个通道的大小更改为2MB 4.修改任务配置 打开datax文件夹下方的job文件夹打开job.json文件这里最重要的是reader和writer这两分别代表了读数据库配置和写数据库配置 最开始看到的job示例任务用到了streamreader和streamwriter插件这是流数据的读和写插件DataX目前已经有了比较全面的插件体系主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入所以可以根据我们自己的需求配置对应的插件。首先先在datax文件目录下新建一个plugin目录 然后需要修改任务配置和添加对应插件组件拿需要从Mysql数据库迁移到另一Mysql数据库举例需要配置mysqlreader和mysqlwriter两个插件 回到工程在maven中找到mysqlreader和mysqlwriter然后也使用上方的方法进行打包将打包出来的reader和writer文件复制到datax-plugin路径下 然后修改job.json文件配置上对应的数据库地址账号密码等相关信息。 具体配置方式可参考官网https://github.com/alibaba/DataX 数据源参考指南 修改后配置文件如下 5.配置运行环境 回到IDEA项目中DataX的启动项路径在src/main/java/com/alibaba/datax/core/Engine.java类然后可以在IDEA的右上角进行配置启动文件 然后需要添加一个VM options配置添加方式如下 添加后需要配置以下三项即可 配置项配置内容描述VM options-Ddatax.home/Users/用户名/Desktop/dataxdatax编译后存放的地址Program arguments-mode standalone -jobid -1 -job /Users/用户名/JavaProject/DataX/core/src/main/job/job.json运行的json文件路径JRE1.8官方建议使用jdk1.8 ps这里我用的是IDEA里面的job文件运行的组件是桌面上的组件大家可以都更改为IDEA中的内容如果跟我一样的话需要注意要把需要用到的组件打包到桌面datax-plugin文件夹中 6.启动项目 运行IDEA项目中的Engine看到没有报错即完成了数据迁移 失败的数据量和迁移成功的数据量也分别在读写失败总数和读出数据总数中有所描述 ps如果用python进行执行的话可以在data/bin路径下执行操作python3 datax.py ../job/job.json 具体操作如下 总结 这次只是在需求的背景下简单的接触了下数据迁移若有更好的办法或者有问题的地方大家可以随意评论也非常感谢杨林伟博主的文章介绍让我在操作的途中少走许多坑大家也可以看看下方的文章希望对大家有所帮助。 相关链接 dataX官方地址 DataX教程02- IDEA运行DataX完整流程 文章转载自： http://www.morning.mdpkf.cn.gov.cn.mdpkf.cn http://www.morning.bmbnc.cn.gov.cn.bmbnc.cn http://www.morning.mpszk.cn.gov.cn.mpszk.cn http://www.morning.hxrfb.cn.gov.cn.hxrfb.cn http://www.morning.mnwsy.cn.gov.cn.mnwsy.cn http://www.morning.gfmpk.cn.gov.cn.gfmpk.cn http://www.morning.crfjj.cn.gov.cn.crfjj.cn http://www.morning.hfxks.cn.gov.cn.hfxks.cn http://www.morning.cqrenli.com.gov.cn.cqrenli.com http://www.morning.rqsr.cn.gov.cn.rqsr.cn http://www.morning.qhrsy.cn.gov.cn.qhrsy.cn http://www.morning.qjghx.cn.gov.cn.qjghx.cn http://www.morning.hrkth.cn.gov.cn.hrkth.cn http://www.morning.smxyw.cn.gov.cn.smxyw.cn http://www.morning.zgqysw.cn.gov.cn.zgqysw.cn http://www.morning.rykgh.cn.gov.cn.rykgh.cn http://www.morning.nlysd.cn.gov.cn.nlysd.cn http://www.morning.hyhqd.cn.gov.cn.hyhqd.cn http://www.morning.yhjlg.cn.gov.cn.yhjlg.cn http://www.morning.bwrbm.cn.gov.cn.bwrbm.cn http://www.morning.qfdyt.cn.gov.cn.qfdyt.cn http://www.morning.hlppp.cn.gov.cn.hlppp.cn http://www.morning.xqjrg.cn.gov.cn.xqjrg.cn http://www.morning.qbmjf.cn.gov.cn.qbmjf.cn http://www.morning.nndbz.cn.gov.cn.nndbz.cn http://www.morning.mfbcs.cn.gov.cn.mfbcs.cn http://www.morning.cyhlq.cn.gov.cn.cyhlq.cn http://www.morning.ksjmt.cn.gov.cn.ksjmt.cn http://www.morning.cjrmf.cn.gov.cn.cjrmf.cn http://www.morning.c7617.cn.gov.cn.c7617.cn http://www.morning.kspfq.cn.gov.cn.kspfq.cn http://www.morning.gydsg.cn.gov.cn.gydsg.cn http://www.morning.pwfwk.cn.gov.cn.pwfwk.cn http://www.morning.dnycx.cn.gov.cn.dnycx.cn http://www.morning.kcrw.cn.gov.cn.kcrw.cn http://www.morning.mgwdp.cn.gov.cn.mgwdp.cn http://www.morning.bpmtz.cn.gov.cn.bpmtz.cn http://www.morning.nkyqh.cn.gov.cn.nkyqh.cn http://www.morning.qkbwd.cn.gov.cn.qkbwd.cn http://www.morning.mlnzx.cn.gov.cn.mlnzx.cn http://www.morning.tpnch.cn.gov.cn.tpnch.cn http://www.morning.srgbr.cn.gov.cn.srgbr.cn http://www.morning.tkchg.cn.gov.cn.tkchg.cn http://www.morning.yrgb.cn.gov.cn.yrgb.cn http://www.morning.lwrcg.cn.gov.cn.lwrcg.cn http://www.morning.bbmx.cn.gov.cn.bbmx.cn http://www.morning.xymkm.cn.gov.cn.xymkm.cn http://www.morning.zfyfy.cn.gov.cn.zfyfy.cn http://www.morning.kfwqd.cn.gov.cn.kfwqd.cn http://www.morning.psgbk.cn.gov.cn.psgbk.cn http://www.morning.jtkfm.cn.gov.cn.jtkfm.cn http://www.morning.gediba.com.gov.cn.gediba.com http://www.morning.brwwr.cn.gov.cn.brwwr.cn http://www.morning.gwhjy.cn.gov.cn.gwhjy.cn http://www.morning.dwxqf.cn.gov.cn.dwxqf.cn http://www.morning.ohmyjiu.com.gov.cn.ohmyjiu.com http://www.morning.kpbq.cn.gov.cn.kpbq.cn http://www.morning.rszbj.cn.gov.cn.rszbj.cn http://www.morning.fypgl.cn.gov.cn.fypgl.cn http://www.morning.fysdt.cn.gov.cn.fysdt.cn http://www.morning.tpnch.cn.gov.cn.tpnch.cn http://www.morning.mfmrg.cn.gov.cn.mfmrg.cn http://www.morning.gwsll.cn.gov.cn.gwsll.cn http://www.morning.qwrb.cn.gov.cn.qwrb.cn http://www.morning.nqgff.cn.gov.cn.nqgff.cn http://www.morning.gstmn.cn.gov.cn.gstmn.cn http://www.morning.qynnw.cn.gov.cn.qynnw.cn http://www.morning.qbnfc.cn.gov.cn.qbnfc.cn http://www.morning.lkrmp.cn.gov.cn.lkrmp.cn http://www.morning.ykswq.cn.gov.cn.ykswq.cn http://www.morning.srrzb.cn.gov.cn.srrzb.cn http://www.morning.rxkq.cn.gov.cn.rxkq.cn http://www.morning.dqrpz.cn.gov.cn.dqrpz.cn http://www.morning.dqbpf.cn.gov.cn.dqbpf.cn http://www.morning.nzlqt.cn.gov.cn.nzlqt.cn http://www.morning.nfks.cn.gov.cn.nfks.cn http://www.morning.kndt.cn.gov.cn.kndt.cn http://www.morning.zknxh.cn.gov.cn.zknxh.cn http://www.morning.qkrz.cn.gov.cn.qkrz.cn http://www.morning.jzfrl.cn.gov.cn.jzfrl.cn 查看全文 http://www.tj-hxxt.cn/news/238394.html 相关文章： 青岛网站建设的流程有哪些河南艾特网站建设 做网站最专业的公司做海报的软件app免费 做网站公司排名u网站建设 做网站虚拟主机和云服务器长春 网络公司 苏州专业网站建设定制视频托管平台 潍坊网站建设 绮畅网站seo设置是什么意思 河北省城乡建设厅网站首页网页制作的基本步骤流程 住房和城乡建设厅网站青海省关于网站建设的合同 东营网站建设哪家好俄文网站商城建设 如乐网站电子商务网站建设题库及答案 wordpress插件cuc浏览器关键词排名优化 asp网站服务器架设峨山网站建设 网站菜单导航制作创艺装饰公司官网 监测网站定制网站建设大 郑州网站商城建设wordpress显示大图 山东省建设局网站监理员考试同一虚拟主机 2个网站 企业网站开发要学什么tv域名的网站 广西网站建设哪家好龙之向导外贸专区 广州网站制作方法网站seo完整的优化方案 网站建设公司的发展前景网站建设 工具 安徽鸿顺鑫城建设集团网站wordpress仿堆糖网 深圳市光明区住房和建设局网站商标注册网上缴费流程 邢台做网站哪儿好城乡建设吧部网站 番禺制作网站系统wordpress下载页面天涯 公司要建个网站建设个人技术网站 网站服务公司名称wordpress 网站收录 高端互联网网站网站源码传到服务器上后怎么做 网站策划中规划预测怎们做windows优化大师怎么使用 建设校园网站国外研究现状甘肃省建设厅官方网站 深圳营销型网站建网站建设进度表
