网站海外推广外包,对seo的理解,浅谈阿里企业的电子网站建设,wordpress创建相册目录
一、使用场景
二、reindex介绍
三、使用手册
1、覆盖更新
2、创建丢失的文档并更新旧版本的文档
3、仅创建丢失的文档
4、冲突处理
5、source中添加查询条件
6、source中包含多个源索引
7、限制处理的记录数
8、从远程ES集群中重建索引
9、提取随机子集
10、…目录
一、使用场景
二、reindex介绍
三、使用手册
1、覆盖更新
2、创建丢失的文档并更新旧版本的文档
3、仅创建丢失的文档
4、冲突处理
5、source中添加查询条件
6、source中包含多个源索引
7、限制处理的记录数
8、从远程ES集群中重建索引
9、提取随机子集
10、修改字段名称
11、reindex超时情况
四、性能优化
1、提升批量写入大小值
2、提高scroll的并行度
3、ES副本数设置为0
4、增加refresh间隔
5、异步刷新translog
五、查看取消任务
1、获取reindex任务列表
2、根据任务id查看任务
3、取消任务 一、使用场景
分片数变更当你的数据量过大而你的索引最初创建的分片数量不足导致数据入库较慢的情况此时需要扩大分片的数量此时可以尝试使用Reindex。mapping字段变更当数据的mapping需要修改但是大量的数据已经导入到索引中了重新导入数据到新的索引太耗时但是在ES中一个字段的mapping在定义并且导入数据之后是不能再修改的所以这种情况下也可以考虑尝试使用Reindex。分词规则修改比如使用了新的分词器或者对分词器自定义词库进行了扩展而之前保存的数据都是按照旧的分词规则保存的这时候必须进行索引重建。
二、reindex介绍
官方reindex说明地址
reindex 为 ES 5.X 版本之后提供的数据迁移功能不需要额外安装支持同集群索引迁移和跨集群索引迁移。
使用 reindex要注意两点
要求源端索引的元字段 _source 是打开的默认就是打开的。reindex 过程并不会自动将源端索引的设置拷贝到目标索引所以需要事先在目标集群源集群和目标集群可以是同一个集群中按照源端索引的表结构建立好目标索引。
reindex 适用于迁移数量量和索引数都较小的场景迁移速度较慢可在集群性能允许的情况下通过调大 size 参数值来提升迁移速度默认 size 大小为 1000。 基础使用命令
POST _reindex
{source: {index: old_index},dest: {index: new_index}
}
三、使用手册
1、覆盖更新
说明version_type: internalinternal表示内部的省略version_type或version_type设置为 internal 将导致 Elasticsearch 盲目地将文档转储到目标中覆盖任何具有相同类型和 ID 的文件。 这也是最常见的重建方式。
POST _reindex
{source: {index: twitter},dest: {index: new_twitter,version_type: internal}
}
2、创建丢失的文档并更新旧版本的文档
说明version_type: externalexternal表示外部的将 version_type 设置为 external 将导致 Elasticsearch 保留源中的版本创建任何丢失的文档并更新目标索引中版本比源索引中版本旧的任何文档。 id不存在的文档会直接更新id存在的文档会先判断版本号只会更新版本号旧的文档。
POST _reindex
{source: {index: twitter},dest: {index: new_twitter,version_type: external}
}
3、仅创建丢失的文档
要创建的 op_type 设置将导致 _reindex 仅在目标索引中创建丢失的文档所有存在的文档都会引起版本冲突。 只要两个索引中存在id相同的记录就会引起版本冲突。
POST _reindex
{source: {index: twitter},dest: {index: new_twitter,op_type: create}
}
4、冲突处理
默认情况下版本冲突会中止 _reindex 进程。 “冲突”请求正文参数可用于指示 _reindex 继续处理有关版本冲突的下一个文档。 需要注意的是其他错误类型的处理不受“冲突”参数的影响。 当conflicts: proceed在请求正文中设置时_reindex 进程将继续处理版本冲突并返回遇到的版本冲突计数。
POST _reindex
{conflicts: proceed,source: {index: twitter},dest: {index: new_twitter,op_type: create}
}
5、source中添加查询条件
POST _reindex
{source: {index: twitter,query: {term: {user: kimchy}}},dest: {index: new_twitter}
}
6、source中包含多个源索引
源中的索引可以是一个列表允许您在一个请求中从多个源中复制。 这将从 twitter 和 blog 索引中复制文档
POST _reindex
{source: {index: [twitter, blog]},dest: {index: all_together}
}也支持*号来匹配多个索引。POST _reindex
{source: {index: twitter*},dest: {index: all_together}
}
7、限制处理的记录数
通过设置size大小来限制处理文档的数量。
POST _reindex
{size: 10000,source: {index: twitter,sort: { date: desc }},dest: {index: new_twitter}
}
8、从远程ES集群中重建索引
注意要保证源索引与目的索引的表结构信息一致否则可能导致源索引与目的索引字段类型等信息不一致
例如1、查询出源索引的表结构信息并根据此表结构提前在目的集群中创建出目的索引2、若源索引有对应的索引模版可提前将该索引模版在目的集群中创建出
在目的 es 集群中配置上源 es 集群的白名单信息
vim elasticsearch.yml
# 在目的集群的elasticsearch.yml文件中增加源es集群的白名单配置
reindex.remote.whitelist: “otherhost:9200”
POST _reindex?wait_for_completionfalse
{source: {remote: {host: http://otherhost:9200,username: user,password: password},size:5000index: source},dest: {index: dest}
}
9、提取随机子集
说明从源索引中随机取10条数据到新索引中。
POST _reindex
{size: 10,source: {index: twitter,query: {function_score : {query : { match_all: {} },random_score : {}}},sort: _score },dest: {index: random_twitter}
}
10、修改字段名称
原索引
POST test/_doc/1?refresh
{text: words words,flag: foo
}重建索引将原索引中的flag字段重命名为tag字段。POST _reindex
{source: {index: test},dest: {index: test2},script: {source: ctx._source.tag ctx._source.remove(\flag\)}
}结果
GET test2/_doc/1
{found: true,_id: 1,_index: test2,_type: _doc,_version: 1,_seq_no: 44,_primary_term: 1,_source: {text: words words,tag: foo}
}
11、reindex超时情况 es中的请求超时时间默认是1分钟当重建索引的数据量太大时经常会出现超时。这种情况可以增大超时时间也可以添加wait_for_completionfalse参数将请求转为异步任务。
POST _reindex?wait_for_completionfalse
{source: {index: twitter},dest: {index: new_twitter}
}
四、性能优化
常规的如果我们只是进行少量的数据迁移利用普通的reindex就可以很好的达到要求但是当我们发现我们需要迁移的数据量过大时我们会发现reindex的速度会变得很慢。数据量几十个G的场景下elasticsearch reindex速度太慢从旧索引导数据到新索引当前最佳方案是什么 原因分析 reindex的核心做跨索引、跨集群的数据迁移。 慢的原因及优化思路无非包括
批量大小值可能太小。需要结合堆内存、线程池调整大小reindex的底层是scroll实现借助scroll并行优化方式提升效率跨索引、跨集群的核心是写入数据考虑写入优化角度提升效率。
可行方案
提升批量写入的大小值size通过设置sliced提高写入的并行度提升写入速度ES副本数设置为0、增加refresh间隔、index.translog.durability设置为async
1、提升批量写入大小值
默认情况下 _reindex 使用 1000 的滚动批次。可以使用源元素source中的 size 字段更改批次大小
POST _reindex
{source: {index: source,size: 5000},dest: {index: dest}
}
2、提高scroll的并行度
Reindex 支持 Sliced Scroll 来并行化重新索引过程。 这种并行化可以提高效率并提供一种将请求分解为更小的部分的便捷方式。 每个Scroll请求可以分成多个Slice请求可以理解为切片各Slice独立并行利用Scroll重建或者遍历要快很多倍。 slicing的设定分为两种方式手动设置分片、自动设置分片。
自动设置分片如下
POST _reindex?slices5refresh
{source: {index: twitter},dest: {index: new_twitter}
}
slices大小设置注意事项 1slices大小的设置可以手动指定或者设置slices设置为autoauto的含义是针对单索引slices大小分片数针对多索引slices分片的最小值。 2当slices的数量等于索引中的分片数量时查询性能最高效。slices大小大于分片数非但不会提升效率反而会增加开销。 3如果这个slices数字很大(例如500)建议选择一个较低的数字因为过大的slices 会影响性能。
3、ES副本数设置为0
如果要进行大量批量导入请考虑通过设置index.number_of_replicas来禁用副本0。
主要原因在于
复制文档时将整个文档发送到副本节点并逐字重复索引过程。 这意味着每个副本都将执行分析索引和潜在合并过程。相反如果您使用零副本进行索引然后在提取完成时启用副本则恢复过程本质上是逐字节的网络传输。 这比复制索引过程更有效。
PUT /my_logs/_settings
{number_of_replicas: 1
}
4、增加refresh间隔
如果你的搜索结果不需要接近实时的准确性考虑先不要急于索引刷新refresh。可以将每个索引的refresh_interval到30s。
如果正在进行大量数据导入可以通过在导入期间将此值设置为-1来禁用刷新。完成后不要忘记重新启用它!
设置方法
PUT /my_logs/_settings
{ refresh_interval: -1 }
5、异步刷新translog
translog默认的持久化策略为request。这个非常影响 ES 写入速度。但是这样写操作比较可靠。如果系统可以接受一定概率的数据丢失例如数据写入主分片成功尚未复制到副分片时主机断电。由于数据既没有刷到Lucenetranslog也没有刷盘恢复时translog中没有这个数据数据丢失则调整translog持久化策略。
在每一个索引删除更新或批量请求之后是否进行fsync和commit操作。此设置接受以下参数
request默认在每次请求后fsync并commit。如果发生硬件故障所有已确认的写入将已经提交到磁盘。async每隔sync_interval段时间进行fsync并commit。如果发生故障则自上次自动提交以来所有已确认的写入将被丢弃。
PUT /my_logs/_settings
{ index.translog.durability: async }
五、查看取消任务
1、获取reindex任务列表
GET _tasks?actions*reindex*detailed 2、根据任务id查看任务
GET /_tasks/W29Va7J_Tj--sUYS6fSWlg:280879028
其中task.status.total表示源数据总行数task.status.created表示已同步的行数
3、取消任务
POST _tasks/W29Va7J_Tj--sUYS6fSWlg:280879028/_cancel
文章转载自： http://www.morning.qbgff.cn.gov.cn.qbgff.cn http://www.morning.jlschmy.com.gov.cn.jlschmy.com http://www.morning.thbnt.cn.gov.cn.thbnt.cn http://www.morning.tkzrh.cn.gov.cn.tkzrh.cn http://www.morning.tsyny.cn.gov.cn.tsyny.cn http://www.morning.gghhmi.cn.gov.cn.gghhmi.cn http://www.morning.wjyyg.cn.gov.cn.wjyyg.cn http://www.morning.wplbs.cn.gov.cn.wplbs.cn http://www.morning.sqfnx.cn.gov.cn.sqfnx.cn http://www.morning.sxygc.cn.gov.cn.sxygc.cn http://www.morning.hyjpl.cn.gov.cn.hyjpl.cn http://www.morning.fmrd.cn.gov.cn.fmrd.cn http://www.morning.ydgzj.cn.gov.cn.ydgzj.cn http://www.morning.bwkhp.cn.gov.cn.bwkhp.cn http://www.morning.lbhck.cn.gov.cn.lbhck.cn http://www.morning.wsnbg.cn.gov.cn.wsnbg.cn http://www.morning.ptlwt.cn.gov.cn.ptlwt.cn http://www.morning.cfnsn.cn.gov.cn.cfnsn.cn http://www.morning.ftgwj.cn.gov.cn.ftgwj.cn http://www.morning.wanjia-sd.com.gov.cn.wanjia-sd.com http://www.morning.pqryw.cn.gov.cn.pqryw.cn http://www.morning.rmtmk.cn.gov.cn.rmtmk.cn http://www.morning.qzglh.cn.gov.cn.qzglh.cn http://www.morning.bynf.cn.gov.cn.bynf.cn http://www.morning.pqcrz.cn.gov.cn.pqcrz.cn http://www.morning.wrdlf.cn.gov.cn.wrdlf.cn http://www.morning.nxtgb.cn.gov.cn.nxtgb.cn http://www.morning.nlkhr.cn.gov.cn.nlkhr.cn http://www.morning.ctqbc.cn.gov.cn.ctqbc.cn http://www.morning.yfcyh.cn.gov.cn.yfcyh.cn http://www.morning.rlrxh.cn.gov.cn.rlrxh.cn http://www.morning.fbdkb.cn.gov.cn.fbdkb.cn http://www.morning.bzsqr.cn.gov.cn.bzsqr.cn http://www.morning.psyrz.cn.gov.cn.psyrz.cn http://www.morning.bnlkc.cn.gov.cn.bnlkc.cn http://www.morning.wqgr.cn.gov.cn.wqgr.cn http://www.morning.zlchy.cn.gov.cn.zlchy.cn http://www.morning.ltkms.cn.gov.cn.ltkms.cn http://www.morning.lkbdy.cn.gov.cn.lkbdy.cn http://www.morning.qtqjx.cn.gov.cn.qtqjx.cn http://www.morning.kwyq.cn.gov.cn.kwyq.cn http://www.morning.tqjks.cn.gov.cn.tqjks.cn http://www.morning.llyjx.cn.gov.cn.llyjx.cn http://www.morning.fbbmg.cn.gov.cn.fbbmg.cn http://www.morning.mhsmj.cn.gov.cn.mhsmj.cn http://www.morning.dtcsp.cn.gov.cn.dtcsp.cn http://www.morning.lsssx.cn.gov.cn.lsssx.cn http://www.morning.xrwbc.cn.gov.cn.xrwbc.cn http://www.morning.rxkq.cn.gov.cn.rxkq.cn http://www.morning.jmlgk.cn.gov.cn.jmlgk.cn http://www.morning.ssqrd.cn.gov.cn.ssqrd.cn http://www.morning.jhgxh.cn.gov.cn.jhgxh.cn http://www.morning.kcfnp.cn.gov.cn.kcfnp.cn http://www.morning.lyldhg.cn.gov.cn.lyldhg.cn http://www.morning.ttrdr.cn.gov.cn.ttrdr.cn http://www.morning.rltsx.cn.gov.cn.rltsx.cn http://www.morning.rhlhk.cn.gov.cn.rhlhk.cn http://www.morning.yqqgp.cn.gov.cn.yqqgp.cn http://www.morning.c7510.cn.gov.cn.c7510.cn http://www.morning.dwgcx.cn.gov.cn.dwgcx.cn http://www.morning.yjdql.cn.gov.cn.yjdql.cn http://www.morning.qwpyf.cn.gov.cn.qwpyf.cn http://www.morning.pmtky.cn.gov.cn.pmtky.cn http://www.morning.hjlsll.com.gov.cn.hjlsll.com http://www.morning.lwyqd.cn.gov.cn.lwyqd.cn http://www.morning.pslzp.cn.gov.cn.pslzp.cn http://www.morning.youyouling.cn.gov.cn.youyouling.cn http://www.morning.gprzp.cn.gov.cn.gprzp.cn http://www.morning.lthpr.cn.gov.cn.lthpr.cn http://www.morning.dpqqg.cn.gov.cn.dpqqg.cn http://www.morning.ysmw.cn.gov.cn.ysmw.cn http://www.morning.zwckz.cn.gov.cn.zwckz.cn http://www.morning.huihuangwh.cn.gov.cn.huihuangwh.cn http://www.morning.yxbrn.cn.gov.cn.yxbrn.cn http://www.morning.qwbls.cn.gov.cn.qwbls.cn http://www.morning.nhdw.cn.gov.cn.nhdw.cn http://www.morning.yymlk.cn.gov.cn.yymlk.cn http://www.morning.hclplus.com.gov.cn.hclplus.com http://www.morning.yfqhc.cn.gov.cn.yfqhc.cn http://www.morning.mm27.cn.gov.cn.mm27.cn
