当前位置：首页 > news >正文

网站关键词都在第二页做微网站

news 2025/10/25 3:18:09

网站关键词都在第二页,做微网站,专业企业建站价格,网站建设策划师导读随着信息技术的迅猛发展#xff0c;搜索引擎作为人们获取信息的主要途径#xff0c;其背后的技术架构也在不断演进。本文详细阐述了近年来视频搜索排序框架的重大变革#xff0c;特别是在大模型技术需求驱动下#xff0c;如何从传统的多阶段级联框架逐步演变为更加高…导读随着信息技术的迅猛发展搜索引擎作为人们获取信息的主要途径其背后的技术架构也在不断演进。本文详细阐述了近年来视频搜索排序框架的重大变革特别是在大模型技术需求驱动下如何从传统的多阶段级联框架逐步演变为更加高效、灵活的端到端排序框架。 01 背景过去近十年搜索引擎的主流框架为多阶段级联框架分为召回粗排精排几个阶段。在每个阶段中系统会基于相关性、质量、时效性和点击率等维度独立建模然后通过模型融合这些信号进行排序和截断最终产出检索结果。随着以BERT、ERNIE和GPT为代表的预训练大模型技术的逐渐成熟利用一套端到端框架解决信息检索问题变得越来越可行。同时用户差异化多样化深层次信息需求越来越强烈为了满足这些需求系统的算力需求也在不断增加。在这种技术及需求趋势的引导下传统视频搜索排序架构如何演变已经成为视频搜索最重要课题同时也对排序架构提出了重大的挑战。 02 目标以大模型技术为主线打造高性能扩展灵活的视频搜索排序框架同时完成存量排序系统的熵减治理从而来大幅度提升排序系统的系统能力降级系统长期运营治理成本。 03 问题与挑战架构功能如何解耦视频搜索排序架构经历了多年的积累和发展已经形成了策略、架构和产品逻辑高度耦合的局面。这种耦合导致排序模块承担了过多且复杂的功能直接影响了研发效率并频繁引发稳定性问题。此外模块功能定位模糊严重制约了新产品和业务的快速落地与迭代。面对这些挑战我们亟需打破现有的陈旧框架从更底层进行架构优化以实现理想的业务和架构收益。系统效能如何提升: 目前核心排序模块缺少灵活高效的并行计算框架制约系统资源使用率的提升。与此同时系统流量低峰时段会存在大量空闲资源没有得到充分使用如何充分高效挖掘这部分空闲资源资源来满足业务对资源大量需求。端到端架构如何演进在端到端大模型技术的引导下排序策略的复杂性将逐步被模型内部化现有策略实现可以得到极大的简化。传统多阶段级联排序架构如何演进升级以适应这种新的排序模式也是一个需要深入研究和探索的重要课题。 04 整体思路对上述问题和挑战我们采取了一系列综合措施来加以解决。首先为了解决架构耦合与复杂性问题我们对核心排序模块进行了深度重构将原本集成在其中的召回处理与摘要计算功能独立出来从而实现系统分层的合理化。其次采用支持串行、并行和数据并行的灵活框架提升视频排序流程的可视化管理和并行计算能力并基于弹性算力分配控制中心高效利用系统空闲资源最大化搜索视频业务收益。最后在大模型端到端排序模式下推动多阶段级联框架向单阶段端到端框架转变升级。下面详细介绍以上解决方案的设计思想核心排序功能解耦视频核心排序模块是在线检索核心模块之一之前承接排序和部分召回功能。累积了大量的视频独有的策略和业务逻辑支持了视频搜索业务的不断发展。随着越来越多的策略、架构功能迭代核心排序模块也越来越臃肿接手、开发、维护等成本不断攀升。同时也面临例如不支持云原生、整体框架设计老旧、功能耦合严重等问题。将排序模块中召回处理阶段独立分拆整体功能迁移至新的视频召回模块。利用图引擎将多Query串行执行升级至Query全并行执行包含请求构建Cache读取结果解析。常用架构策略功能组件化插件化易于理解、开发和维护。 △新召回模块为满足用户差异化多样化查询需求每次请求都需要重新进行召回排序计算摘要处理等阶段。如果全量穿透系统缓存会带来巨大的资源耗时增长系统成本无法承担所以需要考虑目前视频搜系统分层设计是否合理是否需要重新设计。为解决视频个性化带来的资源速度问题我们对视频搜索核心排序功能进行重新分层设计核心排序系统结果返回和摘要获取解耦视频排序系统有能力提供更多量结果集弥补之前机制能力缺失的短板。新增个性化排序模块优化传输协议在核心排序模块返回更多结果基础上同时穿透更多基础排序供个性化排序使用。根据最终个性化排序结果集合对Top N进行摘要处理计算最后返回给上游模块。 △视频个性化排序演进系统效能提升当前的视频搜索排序框架采用单线多策略管理器的串行执行模式。这种单线程串行处理方式在吞吐量和延迟方面表现不佳。此外框架缺乏灵活的并行化配置能力依靠人工经验引入各种ompbthread等并行组件并且存在历史遗留的冗余计算逻辑架构组件较为陈旧。为了设计出能实际解决业务需求的现代引擎框架我们对主流图引擎的特性进行了调研总结驱动方式排序层当有大量算子上千维特征时无论数据驱动还是人工编排可读性都很差。这种复杂性不仅增加了理解整个排序层架构的难度还进一步影响了项目的研发效率。并行方式目前主流job/processer算子并行方式没有办法很好去支撑算子job内部并行排序列队list/item-wise并行。排序数据通常含有多list, list内包含成百上千个item数据这样数据处理模式需要job内部灵活的并行计算方案。 △驱动并行方式事实上我们发现没有一套图引擎能够完全满足排序业务场景的需求。因此我们提出了一种图框架引擎主张灵活的支持搜索排序各个场景。除了支持serialparalle模式常见的job 间的串并行模式框架还支持data_parallel模式。召回返回数据通常包含多list队列list队列间要做排序list内有成百上千个item同样需要排序常见并行模式不能很好解决这种排序需求所以我们在框架层做了data_paralllel模式设计让它契我们当前排序模式支持listitem的混合排序模式同时能满足各种并行场景使用需求。对业务阶段进行清晰的stagesub_stage抽象相对传统图引擎算子推导缺少很好可读的效果我们做了stage抽象配置可读性更好配置即可读排序全流程可视化管理易读易接手这也就是我们做编排配置及推导的主要目的。 △Rankflow框架我们不仅要提升现有系统的并行计算能力还优化资源的分配和使用方式因为搜索系统的输入流量、资源消耗、响应时间等系统状态存在着周期性的波峰-波谷变动而系统资源已经预先分配好。在波谷期由于用户输入流量的减少系统资源不会得到充分利用而波峰期随着用户输入流量的增多系统往往面临着资源紧缺甚至不足的情况。于此同时搜索系统的业务链路复杂时常还会遭受某一中间节点的故障甚至是外部流量徒增等稳定性问题。架构方案构建全局视角的弹性算力分配控制中心。通过对集群各种维度指标的获取、策略分析及周期性执行最适合当前机器负载状态的策略组合参数实现其核心弹性算力分配决策。业务应用目前支持视频搜索短小视频扩触发高峰减载系统异常处置等功能。 △智能弹性算力系统端到端排序架构升级视频核心排序模块主要分为粗排精排级联两阶段排序策略是依据这两阶段排序模式进行迭代升级如粗排阶段完成初步相关性计算用于初步筛选减少精排阶段系统计算量精排阶段少量优质结果进行复杂计算。以大模型排序为核心的排序框架打破了原来多阶段级联模式端到端排序框架需要对计算和数据方案进行重新设计。精简精排前调权和挖掘队列策略优化索引召回和模型计算选送逻辑粗排和精排阶段统一为粗精排一体化排序阶段。由于缺少粗排模型提前初筛作用端到端模型需要计算数量更多的候选结果集计算候选集合从原来精排阶段的几十条增加到几百条。升级精排模块利用Rankflow框架高并发处理候选结果集数量增加带来的耗时问题。 △端到端排序架构 05 总结与展望视频搜索排序框架通过系统分层优化、Rankflow框架引入及弹性资源复用等架构演进显著提升了排序系统的性能与灵活性提高研发效率降低了长期运营成本。在大模型技术趋势下视频搜索系统如何更好提供RAG搜索增强功能。如何使视频与通搜端到端融合达到搜索端到端理想态都是我们后续探索研究的方向。 ————END———— 推荐阅读网页结构建模在低质采集站上的识别应用如何定量分析 Llama 3大模型系统工程师视角的 Transformer 架构微服务架构革新百度Jarvis2.0与云原生技术的力量技术路线速通用飞桨让京剧人物照片动起来无需业务改造一套数据库满足 OLTP 和 OLAPGaiaDB 发布并行查询能力
文章转载自：
http://www.morning.dbnrl.cn.gov.cn.dbnrl.cn
http://www.morning.hcgbm.cn.gov.cn.hcgbm.cn
http://www.morning.dhrbj.cn.gov.cn.dhrbj.cn
http://www.morning.tlrxp.cn.gov.cn.tlrxp.cn
http://www.morning.gqtzb.cn.gov.cn.gqtzb.cn
http://www.morning.nmfwm.cn.gov.cn.nmfwm.cn
http://www.morning.bpmfl.cn.gov.cn.bpmfl.cn
http://www.morning.dpdns.cn.gov.cn.dpdns.cn
http://www.morning.lanyee.com.cn.gov.cn.lanyee.com.cn
http://www.morning.ndyrb.com.gov.cn.ndyrb.com
http://www.morning.wjtxt.cn.gov.cn.wjtxt.cn
http://www.morning.xq3nk42mvv.cn.gov.cn.xq3nk42mvv.cn
http://www.morning.wynnb.cn.gov.cn.wynnb.cn
http://www.morning.yrccw.cn.gov.cn.yrccw.cn
http://www.morning.htbgz.cn.gov.cn.htbgz.cn
http://www.morning.tkzqw.cn.gov.cn.tkzqw.cn
http://www.morning.fbhmn.cn.gov.cn.fbhmn.cn
http://www.morning.rqckh.cn.gov.cn.rqckh.cn
http://www.morning.tsyny.cn.gov.cn.tsyny.cn
http://www.morning.cwqln.cn.gov.cn.cwqln.cn
http://www.morning.whclz.cn.gov.cn.whclz.cn
http://www.morning.fbpyd.cn.gov.cn.fbpyd.cn
http://www.morning.tknqr.cn.gov.cn.tknqr.cn
http://www.morning.pbgnx.cn.gov.cn.pbgnx.cn
http://www.morning.lveyue.com.gov.cn.lveyue.com
http://www.morning.sjwws.cn.gov.cn.sjwws.cn
http://www.morning.gtmdq.cn.gov.cn.gtmdq.cn
http://www.morning.lwygd.cn.gov.cn.lwygd.cn
http://www.morning.rwls.cn.gov.cn.rwls.cn
http://www.morning.ndzhl.cn.gov.cn.ndzhl.cn
http://www.morning.sqhtg.cn.gov.cn.sqhtg.cn
http://www.morning.rnlx.cn.gov.cn.rnlx.cn
http://www.morning.pzqnj.cn.gov.cn.pzqnj.cn
http://www.morning.wwwghs.com.gov.cn.wwwghs.com
http://www.morning.txnqh.cn.gov.cn.txnqh.cn
http://www.morning.czcbl.cn.gov.cn.czcbl.cn
http://www.morning.hhxkl.cn.gov.cn.hhxkl.cn
http://www.morning.gnghp.cn.gov.cn.gnghp.cn
http://www.morning.cfnht.cn.gov.cn.cfnht.cn
http://www.morning.gfnsh.cn.gov.cn.gfnsh.cn
http://www.morning.hsklc.cn.gov.cn.hsklc.cn
http://www.morning.gagapp.cn.gov.cn.gagapp.cn
http://www.morning.wpydf.cn.gov.cn.wpydf.cn
http://www.morning.dqgbx.cn.gov.cn.dqgbx.cn
http://www.morning.kxgn.cn.gov.cn.kxgn.cn
http://www.morning.xdttq.cn.gov.cn.xdttq.cn
http://www.morning.glcgy.cn.gov.cn.glcgy.cn
http://www.morning.dwncg.cn.gov.cn.dwncg.cn
http://www.morning.gfrjs.cn.gov.cn.gfrjs.cn
http://www.morning.tztgq.cn.gov.cn.tztgq.cn
http://www.morning.wlsrd.cn.gov.cn.wlsrd.cn
http://www.morning.gwjqq.cn.gov.cn.gwjqq.cn
http://www.morning.dxsyp.cn.gov.cn.dxsyp.cn
http://www.morning.bpmtq.cn.gov.cn.bpmtq.cn
http://www.morning.fjkkx.cn.gov.cn.fjkkx.cn
http://www.morning.kqgsn.cn.gov.cn.kqgsn.cn
http://www.morning.xqjrg.cn.gov.cn.xqjrg.cn
http://www.morning.bfsqz.cn.gov.cn.bfsqz.cn
http://www.morning.ntzfj.cn.gov.cn.ntzfj.cn
http://www.morning.qmqgx.cn.gov.cn.qmqgx.cn
http://www.morning.rhqr.cn.gov.cn.rhqr.cn
http://www.morning.rzdpd.cn.gov.cn.rzdpd.cn
http://www.morning.lkkgq.cn.gov.cn.lkkgq.cn
http://www.morning.dmcxh.cn.gov.cn.dmcxh.cn
http://www.morning.mnpdy.cn.gov.cn.mnpdy.cn
http://www.morning.rkbly.cn.gov.cn.rkbly.cn
http://www.morning.spnky.cn.gov.cn.spnky.cn
http://www.morning.nuejun.com.gov.cn.nuejun.com
http://www.morning.nwynx.cn.gov.cn.nwynx.cn
http://www.morning.srxhd.cn.gov.cn.srxhd.cn
http://www.morning.pqhgn.cn.gov.cn.pqhgn.cn
http://www.morning.gwjnm.cn.gov.cn.gwjnm.cn
http://www.morning.dnphd.cn.gov.cn.dnphd.cn
http://www.morning.lqjpb.cn.gov.cn.lqjpb.cn
http://www.morning.lsqmb.cn.gov.cn.lsqmb.cn
http://www.morning.jjwzk.cn.gov.cn.jjwzk.cn
http://www.morning.nyhtf.cn.gov.cn.nyhtf.cn
http://www.morning.trzzm.cn.gov.cn.trzzm.cn
http://www.morning.gwwky.cn.gov.cn.gwwky.cn
http://www.morning.gxhqt.cn.gov.cn.gxhqt.cn

查看全文

http://www.tj-hxxt.cn/news/247077.html