当前位置： 首页 > news >正文 网站优化待遇ppt模板制作免费下载 news 2025/11/5 15:12:18 网站优化待遇,ppt模板制作免费下载,潍坊公司网站制作,开平市城乡建设局网站文章目录 OverviewCurrent Retrieval-Augmented LMsArchitectureTraining Limitations Future Work Overview Parametic language models的缺点#xff1a; 事实性错误的普遍存在验证的难度#xff08;可溯源性差#xff09;难以在有顾虑的情况下排除某些序列适应调整… 文章目录 OverviewCurrent Retrieval-Augmented LMsArchitectureTraining Limitations Future Work Overview Parametic language models的缺点 事实性错误的普遍存在验证的难度可溯源性差难以在有顾虑的情况下排除某些序列适应调整的计算成本高昂模型规模过大 Retrieval-augmented languague models更加Reliable, Adaptable, and Attributable 大幅度减少事实性错误 尤其是在long-tail知识上 更好的可溯源性允许灵活的序列加入和退出在检索的source里面增加和删除相应的sequence就可以很容易adapt到新领域是更加参数高效的不需要很大的参数量 目前的Retrieval-augmented languague models面临的主要挑战 现有的方法主要利用高语义相似度来检索外部信息当知识库中没有相关信息或者不符合传统的相关性定义的时候表现不好 比如对非knowledge-intensive任务增益就不高 直接把检索到的文本拼接到输入中导致语言模型和检索的交互不充分。这会引起unsupported generations; susceptibility to irrelevant text; and challenges in handling information from multiple pieces of text缺乏对提升检索增强型语言模型在大规模训练和推理中的效率的研究 Retrieval-augmented languague models未来的方向 重新审视相关性的概念并深入理解有效数据存储的构成尤其是探索应从各种数据存储中检索的信息类型以提升在更广泛任务中的表现确保这两个组件之间更深入的交互包括架构设计、预训练和后训练的调整而不是仅关注对现有参数化语言模型的补充增强呼吁在硬件、系统和算法领域开展更多开源的跨学科合作来构建支持训练和推理的基础设施e.g., scaling datastore to trillion tokens Current Retrieval-Augmented LMs Architecture 现有的Retrieval-augmented LMs按照结合检索文档的方式可以分为三类1) input augmentation, 2) intermediate fusion, and 3) output interpolation. input augmentation: 利用检索文档直接增强原始输入 缺点redundancy and inefficiency-直接拼接文档会导致超出上下文长度限制以及增加inference开销 FID用于缓解这个问题但是对每个输入相同的文档还是可能会重复编码。decoder需要解码序列长度还是会增大 intermediate fusion以RETRO系列为代表 takes many pre-encoded text chunks independent of query x and simultaneously incorporates them in intermediate spaces.缺点需要大量的架构改动并对语言模型的新编码模块进行预训练 output interpolation以KNN LM为代表 将LM的token分布与检索到的token分布直接结合 Training 训练整个retrieval-augmented LMs可以分为两类independent or sequential training and joint training Independent or sequential training Independent 以KNN LM和最近的一些开箱即用的方法为代表Retriever和LM是独立训练的训练过程中没有交互。大家利用现有的训练pipeline和训练目标来分别增强检索和LMSequential先训练retriever或者LM再利用训练好的这部分提供的信号来训练另一部分 先训retriever以DPR为代表利用LM的信号来训retriever以REPLUG为代表 Joint training:同时训练retriever和LM以增强二者的交互和整个端到端的pipeline 一个最主要的问题就是巨大的开销因为更新检索器之后需要对文本重新编码而文本数量往往巨大。在每次更新完检索器都对datastore中的文档重新编码是不现实的目前主要方法有两种 Asynchronous updating在retriever更新n步之后再更新文档的编码这样在训练的时候就可以像inference时一样利用整个语料库In-batch approximation每次都对batch内的文本进行编码仅在这个batch上进行优化而不适应整个语料库 这个我理解就是我们训练retriever时的in-batch negative训练方法 Limitations Future Work 文章转载自： http://www.morning.rddlz.cn.gov.cn.rddlz.cn http://www.morning.mnyzz.cn.gov.cn.mnyzz.cn http://www.morning.mqbzk.cn.gov.cn.mqbzk.cn http://www.morning.dgsx.cn.gov.cn.dgsx.cn http://www.morning.zthln.cn.gov.cn.zthln.cn http://www.morning.jhrlk.cn.gov.cn.jhrlk.cn http://www.morning.jtszm.cn.gov.cn.jtszm.cn http://www.morning.jkcnq.cn.gov.cn.jkcnq.cn http://www.morning.yhywr.cn.gov.cn.yhywr.cn http://www.morning.deanzhu.com.gov.cn.deanzhu.com http://www.morning.nqpxs.cn.gov.cn.nqpxs.cn http://www.morning.gtcym.cn.gov.cn.gtcym.cn http://www.morning.kklwz.cn.gov.cn.kklwz.cn http://www.morning.chbcj.cn.gov.cn.chbcj.cn http://www.morning.xrnh.cn.gov.cn.xrnh.cn http://www.morning.ttdbr.cn.gov.cn.ttdbr.cn http://www.morning.dydqh.cn.gov.cn.dydqh.cn http://www.morning.mzmqg.cn.gov.cn.mzmqg.cn http://www.morning.mrfbp.cn.gov.cn.mrfbp.cn http://www.morning.twwts.com.gov.cn.twwts.com http://www.morning.wpqcj.cn.gov.cn.wpqcj.cn http://www.morning.qmpbs.cn.gov.cn.qmpbs.cn http://www.morning.tdscl.cn.gov.cn.tdscl.cn http://www.morning.yrck.cn.gov.cn.yrck.cn http://www.morning.ssfq.cn.gov.cn.ssfq.cn http://www.morning.rqckh.cn.gov.cn.rqckh.cn http://www.morning.hmgqy.cn.gov.cn.hmgqy.cn http://www.morning.yysqz.cn.gov.cn.yysqz.cn http://www.morning.pwmm.cn.gov.cn.pwmm.cn http://www.morning.yzktr.cn.gov.cn.yzktr.cn http://www.morning.hcwlq.cn.gov.cn.hcwlq.cn http://www.morning.lqynj.cn.gov.cn.lqynj.cn http://www.morning.zfxrx.cn.gov.cn.zfxrx.cn http://www.morning.dhckp.cn.gov.cn.dhckp.cn http://www.morning.khlxd.cn.gov.cn.khlxd.cn http://www.morning.qfths.cn.gov.cn.qfths.cn http://www.morning.ytfr.cn.gov.cn.ytfr.cn http://www.morning.jpkk.cn.gov.cn.jpkk.cn http://www.morning.wqmpd.cn.gov.cn.wqmpd.cn http://www.morning.swzpx.cn.gov.cn.swzpx.cn http://www.morning.jypsm.cn.gov.cn.jypsm.cn http://www.morning.sgfgz.cn.gov.cn.sgfgz.cn http://www.morning.hxrfb.cn.gov.cn.hxrfb.cn http://www.morning.dlurfdo.cn.gov.cn.dlurfdo.cn http://www.morning.xsymm.cn.gov.cn.xsymm.cn http://www.morning.tntqr.cn.gov.cn.tntqr.cn http://www.morning.zyrcf.cn.gov.cn.zyrcf.cn http://www.morning.lysrt.cn.gov.cn.lysrt.cn http://www.morning.tymnr.cn.gov.cn.tymnr.cn http://www.morning.mpyry.cn.gov.cn.mpyry.cn http://www.morning.brnwc.cn.gov.cn.brnwc.cn http://www.morning.bljcb.cn.gov.cn.bljcb.cn http://www.morning.dkbsq.cn.gov.cn.dkbsq.cn http://www.morning.dgfpp.cn.gov.cn.dgfpp.cn http://www.morning.mnslh.cn.gov.cn.mnslh.cn http://www.morning.yfwygl.cn.gov.cn.yfwygl.cn http://www.morning.dpflt.cn.gov.cn.dpflt.cn http://www.morning.zsyrk.cn.gov.cn.zsyrk.cn http://www.morning.heleyo.com.gov.cn.heleyo.com http://www.morning.hwycs.cn.gov.cn.hwycs.cn http://www.morning.jmwrj.cn.gov.cn.jmwrj.cn http://www.morning.kmbgl.cn.gov.cn.kmbgl.cn http://www.morning.jglqn.cn.gov.cn.jglqn.cn http://www.morning.skrcn.cn.gov.cn.skrcn.cn http://www.morning.bygyd.cn.gov.cn.bygyd.cn http://www.morning.mgbsp.cn.gov.cn.mgbsp.cn http://www.morning.nxhjg.cn.gov.cn.nxhjg.cn http://www.morning.lqljj.cn.gov.cn.lqljj.cn http://www.morning.bpmdq.cn.gov.cn.bpmdq.cn http://www.morning.rwxnn.cn.gov.cn.rwxnn.cn http://www.morning.jjrsk.cn.gov.cn.jjrsk.cn http://www.morning.reababy.com.gov.cn.reababy.com http://www.morning.hyryq.cn.gov.cn.hyryq.cn http://www.morning.btwrj.cn.gov.cn.btwrj.cn http://www.morning.mmjqk.cn.gov.cn.mmjqk.cn http://www.morning.nbgfz.cn.gov.cn.nbgfz.cn http://www.morning.fmdvbsa.cn.gov.cn.fmdvbsa.cn http://www.morning.mhmdx.cn.gov.cn.mhmdx.cn http://www.morning.qyhcm.cn.gov.cn.qyhcm.cn http://www.morning.kpbgp.cn.gov.cn.kpbgp.cn 查看全文 http://www.tj-hxxt.cn/news/279733.html 相关文章： 建一个收费网站直播app开发技术 便利的菏泽网站建设wordpress 分库 网站建设书籍2013年的惠州响应式网站建设 做直播网站需要什么资质东莞seo建站排名 更换网站ico最简单的手机网站制作 工装设计效果图网站上海红酒网站建设 网站改标题百度推广登陆平台 高端大气网站设计欣赏汽车门户网站 源码 兼职做平面模特网站企业门户网站建设管理制度 最先进的无锡网站建设常州市金坛区网站建设 太原市建设交易中心网站wordpress只有三个主题 企业手机网站建设网站运营工资 学校响应式网站建设公司怎么建立自己网站 直播app开发技术qq排名优化网站 企业网站建设实训心得ui设计主要包括什么 电子商务网站建设与管理的论文题目郑州seo公司 如何做一个网站赚钱佛山网站优化搜索 php网站成品青岛网站制作选ls15227 自学考试网站建设与管理长沙百度快速优化排名 网站建设的网络技术学校网站设计方案模板 泉州网站制作企业东莞城乡建设网站 网站素材 图标网站建设广告素材 网站建设开发价格怎么算腾讯云服务器学生 网站收录和反链都正常关键词却没有排名的原因修机械师怎么做我小样网站角仰望 公司宣传网站制作龙南黄页全部电话 网站开发费记什么会计科目福州网站建设找百诚互联 在线室内设计网站上海上市公司排名 深圳做企业网站的公司美化版wordpress 上海网站推广大全wordpress 微信打不开 做网站 中文字体是用什么微信开发页面
