当前位置：首页 > news >正文

自己做网站难么个人网页完整代码

news 2025/10/30 21:33:27

自己做网站难么,个人网页完整代码,网站建设合同封皮,公司企业简介图片作者#xff1a;宋泽辉#xff08;小红书#xff09;、张佐玮#xff08;阿里云#xff09; 编者按#xff1a; Koordinator 是一个开源项目#xff0c;是基于阿里巴巴内部多年容器调度、混部实践经验孵化诞生#xff0c;是行业首个生产可用、面向大规模场景的开源混…作者宋泽辉小红书、张佐玮阿里云编者按 Koordinator 是一个开源项目是基于阿里巴巴内部多年容器调度、混部实践经验孵化诞生是行业首个生产可用、面向大规模场景的开源混部系统致力于提升应用服务质量优化资源使用效率。自 2022 年 4 月正式开源以来吸引了业界众多优秀工程师的贡献参与和讨论。小红书是 Koordinator 社区的活跃成员自项目诞生初期就深度参与了一系列重要功能的演进。本文是基于 2023 云栖大会上关于 Koordinator 分享的实录Koordinator 社区成员宋泽辉小红书、张佐玮阿里云为大家介绍了小红书混部技术实践以及 Koordinator 的近期规划。背景介绍随着小红书业务的高速发展各类在线离线业务对于计算资源的需求也在快速增长。与此同时部分在线集群天均利用率水位却维持在较低水平造成这一现象的主要原因有以下几点在线服务资源使用量随着终端用户的使用习惯呈现稳定的潮汐现象夜间 CPU 利用率极低导致集群均值 CPU 利用率较低业务保有大量的独占资源池资源池割裂产生大量的资源碎片拉低 CPU 利用率业务为了稳定性考虑会过量囤积资源进一步拉低 CPU 利用率。基于以上背景为了帮助业务降低资源使用成本提升集群 CPU 利用率小红书容器团队从 2022 年开始通过规模化落地混部技术来大幅提升集群资源效能降低业务资源成本。技术演进小红书混部技术演进分为以下四个阶段阶段一闲置资源再利用早期集群资源管理粗放集群中存在大量业务独占资源池因为资源碎片等因素存在大量低分配率的低效节点散落在各个集群中的低效节点形成大量资源浪费。另一方面部分基于 K8s 发布的转码类近线/离线场景全天时段均存在大量计算资源需求。基于以上背景容器平台通过技术手段将集群中的闲置资源收集起来分配给转码类业务场景使用。我们通过 virtual-kubelet 打通元数据集群与物理集群将闲置资源汇聚起来在元数据集群分配给转码类场景近线/离线计算服务。策略方面二次调度器负责巡检集群所有节点识别为低效节点后标记出来virtual-kubelet 获取物理集群中的低效节点可用资源作为集群闲置资源二次分配给离线转码同时二次调度器需要保证一旦在线服务有资源需求将会立刻驱逐离线 pod 并归还资源。阶段二整机腾挪分时复用搜推广等业务的独占资源池CPU 利用率潮汐现象明显夜间利用率极低资源池中的单个节点往往也只部署一个大规格业务 Pod基于以上背景平台通过弹性能力HPA在凌晨业务低峰期按比例对在线业务缩容腾挪空出整机并将转码训练等离线 pod 在该时段运行起来起到利用率“填谷”的效果。具体实施时需要确保在线服务能在规定的时间内全部被拉起为此策略方面我们实现了离线提前退场并通过调度器抢占机制兜底确保在线服务在业务高峰期来临之前能被全量及时拉起。阶段三常态混部为了降低资源碎片率降低业务资源持有成本平台持续推进业务大规模合池将业务由独占池迁至平台托管的公共混部池通过合池资源超卖等技术手段CPU 分配率得到有效提升但依旧无法解决合并后的资源池夜间利用率较低等问题。另一方面合池后的复杂混部场景下整机腾挪分时混部离线的调度策略很难再继续实施平台需要通过建设更为细粒度的资源管理与调度能力来实现均值利用率提升的目标具体包含以下几点调度侧通过动态超卖技术获取可二次分配给离线的可用资源量并抽象出离线资源视图让 K8s 调度器感知到调度器调度离线负载到对应节点上实现离线对节点利用率的“填谷”效果通过负载调度尽可能避免在线服务被调度到高负载机器让集群中节点负载更加均衡通过二次调度驱逐负载热点机器上的高利用率服务使得集群负载处于动态均衡状态。单机侧支持 Qos(Quality of service) 保障策略根据服务的 Qos 等级提供差异化的运行时资源保障能力支持干扰检测、离线驱逐等能力当离线对在线敏感服务产生干扰时第一时间驱逐离线。通过以上技术手段可以有效保障服务混部时的稳定性从而常态化的让在线离线工作负载混跑在节点上实现利用率填谷效果的最大化。架构设计与实现小红书容器资源调度架构设计如图所示小红书各类业务场景通过各类发布平台、任务平台提交后通过上层负载编排能力以 pod 形式下发到统一调度系统。统一调度系统基于不同的调度需求对在线服务提供强保障的资源交付能力差异化的 Qos 保障能力对离线服务提供最小资源需求的保障能力和极致的弹性能力。调度侧离线调度coscheduling二次调度热点驱逐碎片整理负载调度基于 CPU 水位资源视图模拟调度。单机侧压制策略bvt 压制内存驱逐Qos 保障绑核超线程干扰抑制等Batch 资源上报batch 可用资源计算上报指标采集(from kernel)psisched info 等干扰检测基于 cpipsi业务指标的干扰检测。离线调度资源视图离线服务资源调度的基本原理是基于在线服务负载感知能力的动态超卖具体实现是将节点空闲资源二次分配给离线业务其中离线可用资源为节点上的空闲资源包含未分配资源和已分配未使用资源之和扣除安全预留资源之后剩余资源离线可用资源计算公式如下离线可用资源整机资源–预留资源-在线服务实际使用量将计算出的离线可用资源量按照时间分布后如图所示图中绿色部分实际落地过程中为了避免离线可用资源随在线服务资源使用波动而大幅波动从而影响离线资源质量和离线服务运行稳定性通过资源画像对上述公式中的在线服务实际使用量数据进一步处理去除数据噪点最终计算出一个相对稳定的离线可用资源量图中绿色部分如图所示混部 QoS 保障策略 QoS 分级按照业务对于服务质量QoS: Quality of service的需求我们将小红书的业务类型简单的划分为三个 QoS 级别如下表所示 Qos等级说明业务场景latency-sensitive最高Qos保障等级延迟极为敏感服务搜推广延迟极为敏感场景mid默认Qos保障等级容忍部分干扰延迟网关java微服务batch最低Qos保障等级延迟不敏感资源随时可能被抢转码sparkflink训练等计算场景 QoS 保障根据服务的 QoS 需求节点侧会做 Pod 粒度的分级资源保障实现各个资源维度差异化 QoS 保障策略具体的保障参数如下资源特性latency-sensitivemidbatchCPUcpu burstenableenabledisable调度优先级最高默认低绑核share(默认)share(默认)reclaimednuma强保证prefer默认noneL3 cache100%100%默认30%默认内存带宽100%100%默认30%默认内存OOM优先级最低默认最高内存回收水线调高默认调低在 CPU 核调度层面分别设置了三种绑核类型并设计了一套精细化 CPU 核编排策略分配示意图如下三种绑核类型分别为 exclusive不推荐特点绑定 cpuset 调度域CCD 感知numa 绑定独占排他场景极为敏感的搜推广大规格延迟敏感服务 share 特点绑定 cpuset 调度域CCD 感知numa可选绑定share/exlusive 排他可与 none 类型业务共享场景容忍部分干扰的 Java 微服务应用网关web 服务 reclaimed 特点无 cpuset 绑定可能与非 exlusive 绑核模式业务共享核核的分配完全交由内核CPU 资源并非 100% 能得到满足场景batch 类离线服务部分对延迟无要求的计算服务离线驱逐极端场景下如整机内存使用率较高有触发 OOM 风险或者离线业务 CPU 长期得不到满足单机侧支持按照离线服务内部定义的优先级配置资源用量运行时长等多维度综合算分排序后按序驱逐。离线业务场景小红书作为一个数亿用户的内容社区其离线业务场景丰富多样其中包含大量视频类图片类转码场景搜推cv/nlp 算法推理训练算法特征生产数仓查询等离线场景具体来讲包含以下业务类型近离线转码场景已容器化Flink 流式/批式计算已容器化Spark 批式计算未容器化on yarncv/nlp 算法回扫场景已容器化训练场景已容器化通过提供以 K8s 为底座的在离线统一调度能力将这些离线业务与在线服务混合部署在统一计算资源池内为在线服务提供差异化的资源质量保障为离线服务提供海量的低层本算力实现资源效能的提升。 K8s 与 YARN 混部方案小红书内部商业化社区搜索等业务存在大量的算法类 spark 任务因为离线集群资源紧张导致任务堆积不能得到及时处理同时在线集群在业务低峰时段资源使用率较低另一方面相当占比的 spark 任务资源调度仍旧运行在 Yarn 调度器上在这样的背景下为了降低业务迁移成本方案选型方面我们选择与 Kooridinator 社区合作采用 Yarn on K8s 混部方案来快速落地 Spark 离线场景混部具体方案如图所示其中容器化的在线、离线工作负载通过 K8s 链路发布到在线集群内Spark 作业通过 Yarn ResourceManager 调度到具体节点并由节点上的 Nodemanager 组件拉起。其中 Nodemanager 通过容器的方式部署在在线 K8s 集群内除此之外还涉及到以下组件调度侧 koord-yarn-operator 支持 K8s 与 yarn 调度器资源视图双向同步节点侧 copilotNodeManager 操作代理提供 Yarn Task 管控接口Neptune-agent/koordlet离线资源上报节点离线 Pod/task 管理冲突解决驱逐压制策略支持 K8s 与 YARN 混部的核心能力目前已经在社区研发完成将于 11 月下旬在 Koordinator 1.4 版本进行发布。多调度器资源同步 K8s 调度器与 YARN 调度器之间原本独立且相互不感知为了共享分配在线集群节点上的总可用离线资源需要通过 koord-yarn-operator 组件来做两个调度器之间的资源双向同步和协调并实现两个同步链路 K8s-YARN 调度器资源同步链路负责同步 Yarn 视角离线资源总量其中 YARN 离线资源总量计算如下 YARN 离线资源总量离线总可用量-K8s 侧节点已分配 YARN-K8s 调度器资源同步链路负责同步 YARN 已分配资源量其中 K8s 离线资源总量计算如下 K8s 离线资源总量离线总可用量-YARN 侧节点已分配基于各自节点离线资源视图两个调度器分别做出调度决策调度 K8s 离线 Pod 与 YARN Task 到节点上由于同步过程不适合加锁可能会出现资源被过量分配的问题具体解决措施是在单机侧增加了仲裁逻辑当节点已分配离线服务资源量长期超过节点可用离线资源且离线使用率持续较高存在离线服务得不到资源被饿死的可能单机侧则会根据离线服务的优先级资源占用量运行时长等因素综合算分并按序驱逐。阿里云 EMR 产品化支持与此同时阿里云 EMR 团队在产品层面提供了混部功能的开发支持在兼容EMR 原有日志监控运维逻辑的基础上支持了 K8s 集群弹性扩缩容 NodeManager Pod 的能力。落地收益截止目前小红书混部能力覆盖数十万台机器规模覆盖算力规模数百万核支持数万规模在线、离线场景服务的资源调度。通过大规模容器混部的持续推进小红书在资源成本效能等方面都取得了显著收益具体包含以下两方面 CPU 利用率在保证在线服务服务质量的前提下在线混部集群天均 CPU 利用率提升至 45% 以上部分集群天均 CPU 利用率可稳定提升至 55%。通过在离线混部等技术手段在线集群 CPU 利用率提升 8%-15% 不等部分存储集群 CPU 利用率提升可达 20% 以上。资源成本在保证离线业务稳定性的前提下为小红书各类离线场景提供数百万核时的低成本算力。混部集群 CPU 分配率提升至 125% 以上相较于独占资源池资源碎片率明显下降。社区共建历程小红书是早期参与 Koordinator 社区的公司之一2022 年 4 月Koordinator 正式开源同年 6 月小红书内部启动了在离线混部项目开始参与 Koordinator 方案设计与代码提交。2022 年 8 月小红书与社区共建了 runtime-proxy 组件并在内部场景落地。2023 年 4 月小红书在社区主导启动了 YARN 与 K8s 混部项目2023 年 8 月该方案在小红书内规模化落地。截止目前依托 Koorindiator 的助力小红书的混部已经覆盖公司数万台节点提供数十万核离线资源整体混部集群的利用率提升至 45% 以上。取得了不错的落地效果。总结与展望在小红书近一年多混部技术探索过程中我们在资源效能提升方面积累了较为丰富的落地经验并取得了不错的提升效果随着公司业务规模逐步增长场景愈发复杂我们将会面临诸多新的技术挑战。下个阶段我们的目标是建设面向混合云架构的统一资源调度能力具体工作将围绕以下三方面展开混合工作负载调度能力支持包括大数据AI 在内的任务型工作负载调度能力建设满足小红书所有业务场景的资源调度功能性能需求资源效能进一步提升面向混合云架构推进更大规模的资源合池推进 quota 化资源交付通过更加激进的弹性混部超卖等技术手段实现集群资源利用率的进一步提升资源成本的大幅下降更高服务质量保障能力在更为激进的 CPU 利用率目标背景下通过建设 Qos 感知调度能力干扰检测能力依托安全容器等技术手段解决深水区混部中可能遇到的各类混部干扰问题。 Koordinator 社区近期规划再接下来的几个版本中Koordinator 将在以下几个方面进行重点投入调度器性能优化支持等价类调度通过合并 request 相同的 pod避免 filter、score 等调度过程的重复计算。Network QoS 网络维度容器服务质量保障高优先级带宽设计 request/limit模型保障最低带宽需求。大数据负载支持 Gang 调度原子抢占按分组整体抢占 Pod面向 Hadoop YARN 任务的 QoS 策略适配。资源干扰检测基于底层指标、感知容器资源竞争情况识别异常 Pod消除干扰并反馈调度链路。可以使用钉钉搜索群号33383887 加入 Koordinator 社区钉钉群点击此处即可查看 Koordinator 的详细介绍和使用方法
文章转载自：
http://www.morning.qbnfc.cn.gov.cn.qbnfc.cn
http://www.morning.dbdmr.cn.gov.cn.dbdmr.cn
http://www.morning.jtwck.cn.gov.cn.jtwck.cn
http://www.morning.xfhms.cn.gov.cn.xfhms.cn
http://www.morning.lhrwy.cn.gov.cn.lhrwy.cn
http://www.morning.litao4.cn.gov.cn.litao4.cn
http://www.morning.grqlc.cn.gov.cn.grqlc.cn
http://www.morning.jspnx.cn.gov.cn.jspnx.cn
http://www.morning.pyzt.cn.gov.cn.pyzt.cn
http://www.morning.huihuangwh.cn.gov.cn.huihuangwh.cn
http://www.morning.kryxk.cn.gov.cn.kryxk.cn
http://www.morning.nnhrp.cn.gov.cn.nnhrp.cn
http://www.morning.xqgfy.cn.gov.cn.xqgfy.cn
http://www.morning.lqypx.cn.gov.cn.lqypx.cn
http://www.morning.nrll.cn.gov.cn.nrll.cn
http://www.morning.fpzz1.cn.gov.cn.fpzz1.cn
http://www.morning.fbmjl.cn.gov.cn.fbmjl.cn
http://www.morning.sqxr.cn.gov.cn.sqxr.cn
http://www.morning.rqqlp.cn.gov.cn.rqqlp.cn
http://www.morning.hrgxk.cn.gov.cn.hrgxk.cn
http://www.morning.pigcamp.com.gov.cn.pigcamp.com
http://www.morning.jcyrs.cn.gov.cn.jcyrs.cn
http://www.morning.yxyyp.cn.gov.cn.yxyyp.cn
http://www.morning.gsjw.cn.gov.cn.gsjw.cn
http://www.morning.qsy41.cn.gov.cn.qsy41.cn
http://www.morning.npmx.cn.gov.cn.npmx.cn
http://www.morning.gxwyr.cn.gov.cn.gxwyr.cn
http://www.morning.kzhgy.cn.gov.cn.kzhgy.cn
http://www.morning.bmssj.cn.gov.cn.bmssj.cn
http://www.morning.lzqxb.cn.gov.cn.lzqxb.cn
http://www.morning.hxxzp.cn.gov.cn.hxxzp.cn
http://www.morning.zgpgl.cn.gov.cn.zgpgl.cn
http://www.morning.gycyt.cn.gov.cn.gycyt.cn
http://www.morning.rnmc.cn.gov.cn.rnmc.cn
http://www.morning.dmlsk.cn.gov.cn.dmlsk.cn
http://www.morning.znqmh.cn.gov.cn.znqmh.cn
http://www.morning.jytrb.cn.gov.cn.jytrb.cn
http://www.morning.fwmln.cn.gov.cn.fwmln.cn
http://www.morning.zjqwr.cn.gov.cn.zjqwr.cn
http://www.morning.yfzld.cn.gov.cn.yfzld.cn
http://www.morning.qwdlj.cn.gov.cn.qwdlj.cn
http://www.morning.bpmnl.cn.gov.cn.bpmnl.cn
http://www.morning.hsrpc.cn.gov.cn.hsrpc.cn
http://www.morning.gbjxj.cn.gov.cn.gbjxj.cn
http://www.morning.mlhfr.cn.gov.cn.mlhfr.cn
http://www.morning.cgtfl.cn.gov.cn.cgtfl.cn
http://www.morning.hmnhp.cn.gov.cn.hmnhp.cn
http://www.morning.qflcb.cn.gov.cn.qflcb.cn
http://www.morning.jyzqn.cn.gov.cn.jyzqn.cn
http://www.morning.ydrfl.cn.gov.cn.ydrfl.cn
http://www.morning.nnwnl.cn.gov.cn.nnwnl.cn
http://www.morning.gcdzp.cn.gov.cn.gcdzp.cn
http://www.morning.hhxwr.cn.gov.cn.hhxwr.cn
http://www.morning.smwlr.cn.gov.cn.smwlr.cn
http://www.morning.xbrxk.cn.gov.cn.xbrxk.cn
http://www.morning.kfjnx.cn.gov.cn.kfjnx.cn
http://www.morning.mtjwp.cn.gov.cn.mtjwp.cn
http://www.morning.wkws.cn.gov.cn.wkws.cn
http://www.morning.mtqqx.cn.gov.cn.mtqqx.cn
http://www.morning.bcdqf.cn.gov.cn.bcdqf.cn
http://www.morning.cmdfh.cn.gov.cn.cmdfh.cn
http://www.morning.nrqtk.cn.gov.cn.nrqtk.cn
http://www.morning.rlkgc.cn.gov.cn.rlkgc.cn
http://www.morning.tdcql.cn.gov.cn.tdcql.cn
http://www.morning.dmzzt.cn.gov.cn.dmzzt.cn
http://www.morning.glwyn.cn.gov.cn.glwyn.cn
http://www.morning.kdnrp.cn.gov.cn.kdnrp.cn
http://www.morning.fykrm.cn.gov.cn.fykrm.cn
http://www.morning.xinxianzhi005.com.gov.cn.xinxianzhi005.com
http://www.morning.wpydf.cn.gov.cn.wpydf.cn
http://www.morning.qfdyt.cn.gov.cn.qfdyt.cn
http://www.morning.kmrgl.cn.gov.cn.kmrgl.cn
http://www.morning.rqlzz.cn.gov.cn.rqlzz.cn
http://www.morning.hmqjj.cn.gov.cn.hmqjj.cn
http://www.morning.cxsdl.cn.gov.cn.cxsdl.cn
http://www.morning.gycyt.cn.gov.cn.gycyt.cn
http://www.morning.sfsjh.cn.gov.cn.sfsjh.cn
http://www.morning.rscrj.cn.gov.cn.rscrj.cn
http://www.morning.mlcwl.cn.gov.cn.mlcwl.cn
http://www.morning.ljbpk.cn.gov.cn.ljbpk.cn

查看全文

http://www.tj-hxxt.cn/news/263405.html