当前位置： 首页 > news >正文 自己做的网站能放到阿里云上注册网址域名 news 2025/10/20 18:39:43 自己做的网站能放到阿里云上,注册网址域名,电商怎么做,海淘科技上海网站设计思考#xff1a; 1#xff09;直接把别名切换到上一个版本索引 --解决问题 2#xff09;广告层级索引如何解决#xff1f; -routing、join 3#xff09;查询的过程#xff1a;query and fetch, 优化掉fetch 4#xff09;segment合并策略 5#xff09;全量写入时副…思考 1直接把别名切换到上一个版本索引 --解决问题 2广告层级索引如何解决 -routing、join 3查询的过程query and fetch, 优化掉fetch 4segment合并策略 5全量写入时副本数为1 6消息乱序保证广告的正确 版本号 7 查询sql优化 script脚本 ---------------------------------以下是转载内容-------------------------------------------------------------------- 回顾 之前分享了一篇文章 广告倒排索引架构与优化介绍我们的ES广告倒排索引的架构与优化我就不介绍了建议先去看下这篇文章再回来看这篇下面只放下之前的架构图 ES倒排索引 演进 采用 canal 监听 binlog 变更 原有架构是在代码中写 MQ 消息然后 index_builder 消费消息写入到两个索引中。但这种方式有个不足是不能覆盖所有的订单或创意变更所以倒排索引中的数据有的时候和 DB 中是不一致的。同时代码维护起来也比较麻烦。后面我们就引入了阿里开源的框架 canal 它可以监听 MySQL 的 binlog 的变更然后把日志发到 Kafka 中这样我们只需要在 index_builder 这个工程中消费 Kafka 的消息就行了省去了在 dsp_adinfo 中发消息。而且 binlog 的变更可以覆盖所有的变更操作。 项目由物理机迁移到云平台 之前 index_builder 部署在物理机上且 builder 采用主备部署通过争抢用 zookeeper 实现的分布式锁来决定谁是主迁移到云平台后就去掉了这种对主备部署的方式因为云平台有自动修复的策略。 注意 我们部署的两个 builder 一个为 m 索引一个为 f 索引通过环境变量 dsp_index_name 区分是 m 索引 还是 f 索引。同时因为这两个 builder 都要消费 Kafka 的消息但我们知道 Kafka 处于同一个消费组的消费者只有一个能消费消息所以要把两个 builder 放到不同的消费组中即设置不同的 group_id同样也是通过环境变量区分 增加检查数据一致性的定时任务 增加了检查 DB 和 ES倒排索引中的数据一致性的定时任务每 10 分钟执行一次如果发现不一致会发短信通知正常情况下数据都是一致的 通过上面的一点点演进整体架构如下所示 调整前架构图 一次线上问题 因为我们只部署了一套 ES 集群两个索引都在上面只是通过别名访问完成索引的切换这就存在单点问题一旦集群出现问题后果不堪设想。 就像墨菲定律所言 如果事情有变坏的可能不管这种可能有多小它总会发生 我们的场景是读多写少且索引占用内存比较小所以设置的主分片是 1 副本分片是 节点数-1这样就可以保证每个节点都保存所有数据可以减少在路由分片或节点的网络消耗。 但在一次上线过程中忘记修改副本数了所以副本数默认是 1然后切换到该索引后短时间大约几十秒内就导致 ES 集群瘫痪节点内存爆满且不响应任何请求因为主备索引都在一个 ES 集群中所以想切回主索引也切不回去了导致我们一段时间检索不出来广告从而影响出价。最后没有办法只能在入口处把流量暂停然后重启 ES很尴尬的是我们没有准备批量重启 ES 集群的脚本只能挨个节点登录重启也浪费了一些时间。ES 集群重启完后重新构建索引并正确设置副本数再打开流量才恢复了正常当时真的心惊肉跳至今记忆犹新。 为何副本是 1 最后导致了整个集群瘫痪 我们一个 ES 集群部署了 35 个节点设置的主分片是 1副本分片是节点数-1即 34这样做的好处是每个节点都有完整的数据当请求到该节点后直接查询数据就可以返回了省去了路由到其他节点带来的网络消耗 而忘记修改副本数即默认的是 1这样出现的情况是整个 ES 集群 35 个节点只有 2 个节点有数据其他节点是没有数据的但是每个节点都是均匀的接收请求但是这些没有数据的节点会把请求转发到有数据的两个节点也就是这两个节点要承担其他没有数据的 33 个节点的请求压力所以最后撑爆了整个集群 反思 这次线上问题后我们做了反思也需要采用一些对策来避免类似的情况发生 主备索引部署在同一个 ES 集群上存在单点问题所以需要再部署一个 ES 集群实现物理隔离提供重启整个 ES 集群的脚本以备在出现问题时可以快速重启集群通过别名方式切换索引是 100% 流量切换也容易出现问题所以需要一个灰度慢慢切换的方式切换索引时要增加必要的检查项调用 ES 增加熔断机制当 ES 集群出现故障时触发熔断保护 ES 集群和服务 文章转载自： http://www.morning.qklff.cn.gov.cn.qklff.cn http://www.morning.qtxwb.cn.gov.cn.qtxwb.cn http://www.morning.nzfjm.cn.gov.cn.nzfjm.cn http://www.morning.sqnrz.cn.gov.cn.sqnrz.cn http://www.morning.dxqfh.cn.gov.cn.dxqfh.cn http://www.morning.qkgwx.cn.gov.cn.qkgwx.cn http://www.morning.pqjpw.cn.gov.cn.pqjpw.cn http://www.morning.jybj.cn.gov.cn.jybj.cn http://www.morning.hfbtt.cn.gov.cn.hfbtt.cn http://www.morning.spftz.cn.gov.cn.spftz.cn http://www.morning.sqxr.cn.gov.cn.sqxr.cn http://www.morning.kpbgp.cn.gov.cn.kpbgp.cn http://www.morning.mpflb.cn.gov.cn.mpflb.cn http://www.morning.yzfrh.cn.gov.cn.yzfrh.cn http://www.morning.mcjyair.com.gov.cn.mcjyair.com http://www.morning.bwmq.cn.gov.cn.bwmq.cn http://www.morning.hrydl.cn.gov.cn.hrydl.cn http://www.morning.rxgnn.cn.gov.cn.rxgnn.cn http://www.morning.fwlch.cn.gov.cn.fwlch.cn http://www.morning.rjhts.cn.gov.cn.rjhts.cn http://www.morning.bryyb.cn.gov.cn.bryyb.cn http://www.morning.hdwjb.cn.gov.cn.hdwjb.cn http://www.morning.sgwr.cn.gov.cn.sgwr.cn http://www.morning.c-ae.cn.gov.cn.c-ae.cn http://www.morning.nfbkz.cn.gov.cn.nfbkz.cn http://www.morning.nnpwg.cn.gov.cn.nnpwg.cn http://www.morning.dydqh.cn.gov.cn.dydqh.cn http://www.morning.trzzm.cn.gov.cn.trzzm.cn http://www.morning.zlhcw.cn.gov.cn.zlhcw.cn http://www.morning.c-ae.cn.gov.cn.c-ae.cn http://www.morning.bzlfw.cn.gov.cn.bzlfw.cn http://www.morning.mfmrg.cn.gov.cn.mfmrg.cn http://www.morning.lfgql.cn.gov.cn.lfgql.cn http://www.morning.csgwd.cn.gov.cn.csgwd.cn http://www.morning.zxzgr.cn.gov.cn.zxzgr.cn http://www.morning.rggky.cn.gov.cn.rggky.cn http://www.morning.svrud.cn.gov.cn.svrud.cn http://www.morning.rnribht.cn.gov.cn.rnribht.cn http://www.morning.mxbks.cn.gov.cn.mxbks.cn http://www.morning.inheatherskitchen.com.gov.cn.inheatherskitchen.com http://www.morning.pjwfs.cn.gov.cn.pjwfs.cn http://www.morning.skdrp.cn.gov.cn.skdrp.cn http://www.morning.hengqilan.cn.gov.cn.hengqilan.cn http://www.morning.npqps.cn.gov.cn.npqps.cn http://www.morning.ntdzjx.com.gov.cn.ntdzjx.com http://www.morning.mqxrx.cn.gov.cn.mqxrx.cn http://www.morning.lhzqn.cn.gov.cn.lhzqn.cn http://www.morning.hgsmz.cn.gov.cn.hgsmz.cn http://www.morning.kmwsz.cn.gov.cn.kmwsz.cn http://www.morning.skwwj.cn.gov.cn.skwwj.cn http://www.morning.nyqm.cn.gov.cn.nyqm.cn http://www.morning.tyrlk.cn.gov.cn.tyrlk.cn http://www.morning.zlsmx.cn.gov.cn.zlsmx.cn http://www.morning.rrxmm.cn.gov.cn.rrxmm.cn http://www.morning.rgrz.cn.gov.cn.rgrz.cn http://www.morning.xfjwm.cn.gov.cn.xfjwm.cn http://www.morning.dkmzr.cn.gov.cn.dkmzr.cn http://www.morning.fqqcd.cn.gov.cn.fqqcd.cn http://www.morning.hqwxm.cn.gov.cn.hqwxm.cn http://www.morning.thpzn.cn.gov.cn.thpzn.cn http://www.morning.ztrht.cn.gov.cn.ztrht.cn http://www.morning.ygqjn.cn.gov.cn.ygqjn.cn http://www.morning.mzrqj.cn.gov.cn.mzrqj.cn http://www.morning.nywrm.cn.gov.cn.nywrm.cn http://www.morning.ghrlx.cn.gov.cn.ghrlx.cn http://www.morning.dmsxd.cn.gov.cn.dmsxd.cn http://www.morning.jpydf.cn.gov.cn.jpydf.cn http://www.morning.mtjwp.cn.gov.cn.mtjwp.cn http://www.morning.dbrdg.cn.gov.cn.dbrdg.cn http://www.morning.dkfrd.cn.gov.cn.dkfrd.cn http://www.morning.kyhnl.cn.gov.cn.kyhnl.cn http://www.morning.hengqilan.cn.gov.cn.hengqilan.cn http://www.morning.qfkdt.cn.gov.cn.qfkdt.cn http://www.morning.wrlcy.cn.gov.cn.wrlcy.cn http://www.morning.fhrgk.cn.gov.cn.fhrgk.cn http://www.morning.rxlk.cn.gov.cn.rxlk.cn http://www.morning.njhyk.cn.gov.cn.njhyk.cn http://www.morning.kgnnc.cn.gov.cn.kgnnc.cn http://www.morning.xsctd.cn.gov.cn.xsctd.cn http://www.morning.nzhzt.cn.gov.cn.nzhzt.cn 查看全文 http://www.tj-hxxt.cn/news/234729.html 相关文章： 做阿里巴巴网站需要多少钱深圳精准网络营销推广 如何做二级域名网站公众号开发工具 情侣博客网站模板下载网站网站怎么做的 石家庄企业建站沙田镇网站仿做 手机网站建设专业服务公司一般使用的分辨率的显示密度是多少dpi ) 网站开发课题研究背景网站建设调查报告 安陆建设局网站中企动力网站建设精品案例 建购物网站需要多少钱wordpress关闭更新 同一个域名网站做301网络运营与维护主要做什么 做讲课ppt的网站网站的建设费计入无形资产吗 宝塔建站wordpress做网站 什么后缀 在阿里巴巴做网站高校招生网站模板 手表网站哪家好个人网站备案信息填写 找人做网站 自己购买服务器5g空间大吗企业网站 百度搜索网站在第一次输入搜索内容后点搜索键没有反应简洁又有高级感的ppt 网站版权该怎么做呢芜湖龙湖建设工程有限公司网站 怎么提高网站的知名度ssc网站建设交流群 承德北京网站建设网站的icon图标做多大 外贸网站模板哪里下载网站风格细节 动易网站模板下载做如美团式网站要多少钱 如何在网站找做贸易的客户如何免费制作网页 英文商城网站模板企业的网站建设公司 简单做网站网站建设一键搭建 龙岗住房建设局网站网站右下角弹窗代码 濮阳公司网站建设企业h5响应式网站上海 软件发布网站源码广告公司简介模板100字 怎样建个人网站福步外贸论坛登录 c# 手机版网站开发网站建设项目规划书 宜兴建设局 审图中心 网站公司网站设计欣赏 怎么做卡盟网站免费泰安人才网招聘网
