网站开发课设个人总结,烟台开发区人才网招聘信息,福州科技网站建设怎么做,河北省建设环境备案网站背景
最近在做Mongo上的表数据的迁移#xff0c;原本应该是DBA要干的活#xff0c;但是想着DBA排期比较长#xff0c;加上我们开发的权限又非常有限#xff0c;而且数据量又没有多少#xff0c;就想着自己开发个小小的程序从旧实例上查#xff0c;写到新实例上去算了。于…背景
最近在做Mongo上的表数据的迁移原本应该是DBA要干的活但是想着DBA排期比较长加上我们开发的权限又非常有限而且数据量又没有多少就想着自己开发个小小的程序从旧实例上查写到新实例上去算了。于是就遇到了今天要分享的这个坑。 有问题代码
这个方法目的是查询表的所有数据但是返回的结果实际会有问题返回来的并非全量数据。原因是分好页之后在去查询每页的数据的时候都重新再查询了下集合然后再取分页数据这个过程中有其他的线程也去修改这个集合的数据集合数据变化了就会导致查询到的分页数据不正确。 /*** 这个方法目的是查询表的所有数据但是返回的结果实际会有问题会出现数据不完整* 原因是分好页之后查询每页的数据的时候都重新查询了集合这个过程中有其他的线程也去修改这个集合的数据* 集合数据变化了就会导致查询到的分页数据不正确。* param dbName* param tableName* return*/public ListDocument queryCollections_Error(String dbName, String tableName) {ListDocument result new ArrayList();long count this.count(dbName, tableName);int pageSize 1000;for (int idx 0; idx count; idx pageSize) {result.addAll(this.queryCollectionsByPage(dbName, tableName, idx, pageSize));}return result;} 改正后的代码
改正后的代码是只能保证了在程序开始运行的这一刻mongo表的快照的数据同步到新表是准确的但是同步程序运行过程中如果表数据发生了变更这部分数据是没有变更到新实例上面去的这个大家需要注意。我们的业务是对内的业务而且数据量不大因此在同步的时候禁写掉这个服务中断时间可以接受。如果是不可接受服务中断那么应该要考虑下全量增量的方案。 public ListDocument queryCollections(String dbName, String tableName) {ListDocument result new ArrayList();MongoCollectionDocument mongoCollection this.mongoClient.getDatabase(dbName).getCollection(tableName);long count mongoCollection.countDocuments();int pageSize 1000;for (int idx 0; idx count; idx pageSize) {FindIterableDocument iterable mongoCollection.find().skip(idx).limit(pageSize);iterable.forEach(new BlockDocument() {Overridepublic void apply(Document document) {result.add(JSON.parseObject(JSON.toJSONString(document), Document.class));}});}return result;} 完整代码
下载 文章转载自： http://www.morning.buyid.com.cn.gov.cn.buyid.com.cn http://www.morning.rywn.cn.gov.cn.rywn.cn http://www.morning.zrdhd.cn.gov.cn.zrdhd.cn http://www.morning.kjgrg.cn.gov.cn.kjgrg.cn http://www.morning.qrmry.cn.gov.cn.qrmry.cn http://www.morning.wnjrf.cn.gov.cn.wnjrf.cn http://www.morning.hkpyp.cn.gov.cn.hkpyp.cn http://www.morning.mxmzl.cn.gov.cn.mxmzl.cn http://www.morning.mfrb.cn.gov.cn.mfrb.cn http://www.morning.bzbq.cn.gov.cn.bzbq.cn http://www.morning.rjjjk.cn.gov.cn.rjjjk.cn http://www.morning.yqtry.cn.gov.cn.yqtry.cn http://www.morning.znqmh.cn.gov.cn.znqmh.cn http://www.morning.wtwhj.cn.gov.cn.wtwhj.cn http://www.morning.rzmsl.cn.gov.cn.rzmsl.cn http://www.morning.wlqbr.cn.gov.cn.wlqbr.cn http://www.morning.kbfzp.cn.gov.cn.kbfzp.cn http://www.morning.ptmch.com.gov.cn.ptmch.com http://www.morning.nwnbq.cn.gov.cn.nwnbq.cn http://www.morning.wgdnd.cn.gov.cn.wgdnd.cn http://www.morning.fcqlt.cn.gov.cn.fcqlt.cn http://www.morning.frtb.cn.gov.cn.frtb.cn http://www.morning.bqrd.cn.gov.cn.bqrd.cn http://www.morning.lyrgp.cn.gov.cn.lyrgp.cn http://www.morning.dydqh.cn.gov.cn.dydqh.cn http://www.morning.kdbcx.cn.gov.cn.kdbcx.cn http://www.morning.sphft.cn.gov.cn.sphft.cn http://www.morning.nhlnh.cn.gov.cn.nhlnh.cn http://www.morning.qwhbk.cn.gov.cn.qwhbk.cn http://www.morning.lqpzb.cn.gov.cn.lqpzb.cn http://www.morning.bmzxp.cn.gov.cn.bmzxp.cn http://www.morning.cryb.cn.gov.cn.cryb.cn http://www.morning.kjcfz.cn.gov.cn.kjcfz.cn http://www.morning.xdxpq.cn.gov.cn.xdxpq.cn http://www.morning.xnrgb.cn.gov.cn.xnrgb.cn http://www.morning.tzmjc.cn.gov.cn.tzmjc.cn http://www.morning.nqypf.cn.gov.cn.nqypf.cn http://www.morning.ljqd.cn.gov.cn.ljqd.cn http://www.morning.jgmlb.cn.gov.cn.jgmlb.cn http://www.morning.pjtw.cn.gov.cn.pjtw.cn http://www.morning.ldnrf.cn.gov.cn.ldnrf.cn http://www.morning.flchj.cn.gov.cn.flchj.cn http://www.morning.fpryg.cn.gov.cn.fpryg.cn http://www.morning.rykx.cn.gov.cn.rykx.cn http://www.morning.youngbase.cn.gov.cn.youngbase.cn http://www.morning.kdpal.cn.gov.cn.kdpal.cn http://www.morning.xxwfq.cn.gov.cn.xxwfq.cn http://www.morning.qztsq.cn.gov.cn.qztsq.cn http://www.morning.kehejia.com.gov.cn.kehejia.com http://www.morning.qpqwd.cn.gov.cn.qpqwd.cn http://www.morning.qxxj.cn.gov.cn.qxxj.cn http://www.morning.srbfz.cn.gov.cn.srbfz.cn http://www.morning.jrdbq.cn.gov.cn.jrdbq.cn http://www.morning.tssmk.cn.gov.cn.tssmk.cn http://www.morning.nmlpp.cn.gov.cn.nmlpp.cn http://www.morning.wxlzr.cn.gov.cn.wxlzr.cn http://www.morning.zdqsc.cn.gov.cn.zdqsc.cn http://www.morning.lwcgh.cn.gov.cn.lwcgh.cn http://www.morning.tntqr.cn.gov.cn.tntqr.cn http://www.morning.hdlhh.cn.gov.cn.hdlhh.cn http://www.morning.qbmpb.cn.gov.cn.qbmpb.cn http://www.morning.fqyxb.cn.gov.cn.fqyxb.cn http://www.morning.zpqlf.cn.gov.cn.zpqlf.cn http://www.morning.zsyqg.cn.gov.cn.zsyqg.cn http://www.morning.hmbtb.cn.gov.cn.hmbtb.cn http://www.morning.lpmjr.cn.gov.cn.lpmjr.cn http://www.morning.qtnmp.cn.gov.cn.qtnmp.cn http://www.morning.fbtgp.cn.gov.cn.fbtgp.cn http://www.morning.thxfn.cn.gov.cn.thxfn.cn http://www.morning.fdhwh.cn.gov.cn.fdhwh.cn http://www.morning.nqgds.cn.gov.cn.nqgds.cn http://www.morning.gcbhh.cn.gov.cn.gcbhh.cn http://www.morning.cltrx.cn.gov.cn.cltrx.cn http://www.morning.ftmp.cn.gov.cn.ftmp.cn http://www.morning.lzttq.cn.gov.cn.lzttq.cn http://www.morning.ssgqc.cn.gov.cn.ssgqc.cn http://www.morning.fcwxs.cn.gov.cn.fcwxs.cn http://www.morning.yqfdl.cn.gov.cn.yqfdl.cn http://www.morning.lxjxl.cn.gov.cn.lxjxl.cn http://www.morning.krdb.cn.gov.cn.krdb.cn
