当前位置： 首页 > news >正文 学校资源门户网站建设方案做可以上传文件的网站 news 2025/10/20 19:12:46 学校资源门户网站建设方案,做可以上传文件的网站,学校网站建设状况,推广分享在[[使用python批量写入ES索引数据]]中已经介绍了如何批量写入ES数据。基于该流程实际测试一下指定文档ID对ES性能的影响有多大。 一句话版 指定ID比不指定ID的性能下降了63%#xff0c;且加剧趋势。 以下是测评验证的细节。 百万数据量 索引默认使用1分片和1副本。 指定…在[[使用python批量写入ES索引数据]]中已经介绍了如何批量写入ES数据。基于该流程实际测试一下指定文档ID对ES性能的影响有多大。 一句话版 指定ID比不指定ID的性能下降了63%且加剧趋势。 以下是测评验证的细节。 百万数据量 索引默认使用1分片和1副本。 指定ID写入 执行完写入程序后台显示耗时 Total Time Spent: , 225.49据此计算吞吐量为4444/s。 索引速度监控截图显示约4550条每秒 不指定ID写入 执行完写入程序后台显示耗时 Total Time Spent: , 214.52据此计算为4672/s。 后台索引的性能监控显示写入速度约是4750条每秒比写ID时略高5%。 千万级数据量 索引创建多个分片 此时我们指定要写入的索引为3个分片也是1份副本。 代码里添加的内容是 # 定义要创建的索引及其设置包括主分片数为3 create_index_body { settings: { index: { number_of_shards: 3, # 设置主分片数为3 number_of_replicas: 1 # 设置副本数为1可以根据需要调整 } } } # 创建索引 if not es.indices.exists(indexmy_index): es.indices.create(indexmy_index, bodycreate_index_body) 指定ID 后台显示耗时 Total Time Spent: , 1465.45据此计算写入速度平均6825/s。 索引速度约6700条每秒。 不指定ID 后台显示耗时 Total Time Spent: , 1434.30计算为6973/s。 监控趋势展示约7016条每秒。 优势似乎不明显。 我们继续追加1000万条数据此时id使用随机生成的字符串。 追加1000万数据 从写入机制考虑应该原始索引有存量数据才对性能有影响我们追加写入1000万数据进行验证且使用随机生成的uuid。 指定文档ID 1000万到2000万程序耗时1778.45秒。 最终通过ES查询索引元数据观察到索引操作累计耗时是1215秒。 其余的时间多是python程序自身运行的占用。 2000万到3000万程序耗时1904.99秒索引累计耗时2026秒。 3000万到4000万程序耗时1904.99秒索引累计耗时2026秒。 4000万到5000万程序耗时1904.99秒索引累计耗时2026秒。 那么最后1000万数据实际入库索引速度是11025/s。 不指定文档ID 1000万到2000万程序耗时1446.72秒索引操作耗时1112秒。 2000万到3000万程序耗时1458.31秒索引累计耗时1672秒。 3000万到4000万程序耗时1497.03秒索引累计耗时2232秒。 4000万到5000万程序耗时1475.83秒索引累计耗时2788秒。 那么最后1000万数据的实际索引速度是17985/s。 最终测试集群已经有一个亿的数据 统计以上数据趋势看图。 不指定ID的运行效率基本恒定指定ID的运行效率逐步下降了约33% 索引速度的差距稳步拉开 总结 综上指定ID写入对性能的负面影响随着数据量增长而增大。数据显示在5000万级别性能已损失了63%。 这是虚拟机环境的模拟具体计算指定ID对性能的影响是复杂的因为它取决于上述多个因素以及你的软硬件环境。 据ES官方的性能调优指南在为具有显式 id 的文档编制索引时Elasticsearch 需要检查同一分区内是否已经存在具有相同 id 的文档这是一项成本很高的操作而且随着索引的增加成本会越来越高。 可以预见的是当索引变大到某一程度时指定ID的性能可能会断崖式下跌而非缓慢下降。 与君共赏 《题西林壁》宋·苏轼 横看成岭侧成峰远近高低各不同。 不识庐山真面目只缘身在此山中。 文章转载自： http://www.morning.tjwfk.cn.gov.cn.tjwfk.cn http://www.morning.ppzgr.cn.gov.cn.ppzgr.cn http://www.morning.ndpwg.cn.gov.cn.ndpwg.cn http://www.morning.yrsg.cn.gov.cn.yrsg.cn http://www.morning.rnygs.cn.gov.cn.rnygs.cn http://www.morning.hwhnx.cn.gov.cn.hwhnx.cn http://www.morning.hmdn.cn.gov.cn.hmdn.cn http://www.morning.dkqr.cn.gov.cn.dkqr.cn http://www.morning.bhgnj.cn.gov.cn.bhgnj.cn http://www.morning.rmlz.cn.gov.cn.rmlz.cn http://www.morning.mfsxd.cn.gov.cn.mfsxd.cn http://www.morning.mbqyl.cn.gov.cn.mbqyl.cn http://www.morning.qrcsb.cn.gov.cn.qrcsb.cn http://www.morning.dbqg.cn.gov.cn.dbqg.cn http://www.morning.yjqkk.cn.gov.cn.yjqkk.cn http://www.morning.cfrz.cn.gov.cn.cfrz.cn http://www.morning.nlwrg.cn.gov.cn.nlwrg.cn http://www.morning.mxbks.cn.gov.cn.mxbks.cn http://www.morning.qkbwd.cn.gov.cn.qkbwd.cn http://www.morning.hhmfp.cn.gov.cn.hhmfp.cn http://www.morning.hblkq.cn.gov.cn.hblkq.cn http://www.morning.wplbs.cn.gov.cn.wplbs.cn http://www.morning.trnhy.cn.gov.cn.trnhy.cn http://www.morning.xqwq.cn.gov.cn.xqwq.cn http://www.morning.rcklc.cn.gov.cn.rcklc.cn http://www.morning.qfkdt.cn.gov.cn.qfkdt.cn http://www.morning.ckbmz.cn.gov.cn.ckbmz.cn http://www.morning.vaqmq.cn.gov.cn.vaqmq.cn http://www.morning.c7625.cn.gov.cn.c7625.cn http://www.morning.ktcrr.cn.gov.cn.ktcrr.cn http://www.morning.jwrcz.cn.gov.cn.jwrcz.cn http://www.morning.yzktr.cn.gov.cn.yzktr.cn http://www.morning.zbpqq.cn.gov.cn.zbpqq.cn http://www.morning.xtgzp.cn.gov.cn.xtgzp.cn http://www.morning.rjjjk.cn.gov.cn.rjjjk.cn http://www.morning.qnypp.cn.gov.cn.qnypp.cn http://www.morning.zkzjm.cn.gov.cn.zkzjm.cn http://www.morning.tnjz.cn.gov.cn.tnjz.cn http://www.morning.ykrss.cn.gov.cn.ykrss.cn http://www.morning.yfcbf.cn.gov.cn.yfcbf.cn http://www.morning.wkws.cn.gov.cn.wkws.cn http://www.morning.xhhzn.cn.gov.cn.xhhzn.cn http://www.morning.dbrdg.cn.gov.cn.dbrdg.cn http://www.morning.yhwmg.cn.gov.cn.yhwmg.cn http://www.morning.wsnjn.cn.gov.cn.wsnjn.cn http://www.morning.ynjhk.cn.gov.cn.ynjhk.cn http://www.morning.pqktp.cn.gov.cn.pqktp.cn http://www.morning.sfdsn.cn.gov.cn.sfdsn.cn http://www.morning.wjhqd.cn.gov.cn.wjhqd.cn http://www.morning.lxbml.cn.gov.cn.lxbml.cn http://www.morning.qmkyp.cn.gov.cn.qmkyp.cn http://www.morning.nfnxp.cn.gov.cn.nfnxp.cn http://www.morning.pbsqr.cn.gov.cn.pbsqr.cn http://www.morning.pjbhk.cn.gov.cn.pjbhk.cn http://www.morning.lxwjx.cn.gov.cn.lxwjx.cn http://www.morning.ldpjm.cn.gov.cn.ldpjm.cn http://www.morning.wnnfh.cn.gov.cn.wnnfh.cn http://www.morning.ntyanze.com.gov.cn.ntyanze.com http://www.morning.tzpqc.cn.gov.cn.tzpqc.cn http://www.morning.xqltq.cn.gov.cn.xqltq.cn http://www.morning.tpssx.cn.gov.cn.tpssx.cn http://www.morning.qmsbr.cn.gov.cn.qmsbr.cn http://www.morning.splkk.cn.gov.cn.splkk.cn http://www.morning.lhzqn.cn.gov.cn.lhzqn.cn http://www.morning.hwnqg.cn.gov.cn.hwnqg.cn http://www.morning.pqwrg.cn.gov.cn.pqwrg.cn http://www.morning.rkdhh.cn.gov.cn.rkdhh.cn http://www.morning.sjqpm.cn.gov.cn.sjqpm.cn http://www.morning.btnmj.cn.gov.cn.btnmj.cn http://www.morning.dwyyf.cn.gov.cn.dwyyf.cn http://www.morning.rxzcl.cn.gov.cn.rxzcl.cn http://www.morning.mmosan.com.gov.cn.mmosan.com http://www.morning.zmpsl.cn.gov.cn.zmpsl.cn http://www.morning.mydgr.cn.gov.cn.mydgr.cn http://www.morning.plcyq.cn.gov.cn.plcyq.cn http://www.morning.cyhlq.cn.gov.cn.cyhlq.cn http://www.morning.qxwgx.cn.gov.cn.qxwgx.cn http://www.morning.mlgsc.com.gov.cn.mlgsc.com http://www.morning.fwzjs.cn.gov.cn.fwzjs.cn http://www.morning.tlpsd.cn.gov.cn.tlpsd.cn 查看全文 http://www.tj-hxxt.cn/news/234794.html 相关文章： 网文订阅做多的网站西地那非片能延时多久 盐城市建设局网站设计备案资料wordpress地图 深圳宝安网站设计如何设计广告 wordpress删除不了插件seo搜索引擎优化主要做什么 广东省监理建设协会网站成都手机网站建设开发 生活服务行业网站建设镇江大港 家具设计案例seo门户网 西乡城建局网站网站建设公司果动 在微信上做彩票网站网站申请建设 深圳企业网站建设费用专业网站开发开发 嘉兴网站系统总部深圳龙江网站设计 h5企业模板网站上街网站建设 手机网站建设软件做销售有什么软件可以找客户 化肥网站模板做网站软件j 广州网站制作开发公司金网科技 杭州网站建设多少钱鞍山百姓网免费发布信息 做图文的网站oppo应用商店官网 创意设计一个网站企业查询网站 免费发布信息网有哪些网站淘宝网站页面设计 免费制作小说封面的网站网店策划书模板 网站改版好吗百度官网首页网址 公司网站设计注意事项郑州网站建设报价表 住房与建设部网站 2018 128号什么是网站的层次 怎么在手机上设计网站搜索引擎外部优化有哪些渠道 360免费建站官网入口南京网络公司平台 网站主页面最开始在哪里做c2c网站的特点 鼓楼微网站开发简历设计网 阿里指数app下载兰州企业网络优化服务 手机网站设计开发潍坊网站建设维护 公司内部的网站主要作用成都建设网站公司
