当前位置： 首页 > news >正文 常州公诚建设项目管理有限公司官方网站家如何网站 news 2025/10/30 5:57:55 常州公诚建设项目管理有限公司官方网站,家如何网站,棋牌类网站开发,广告联盟论坛知识注入以对抗大型语言模型#xff08;LLM#xff09;的幻觉 摘要1 引言2 问题设置和实验2.1 幻觉2.2 生成响应质量 3 结果和讨论3.1 幻觉3.2 生成响应质量 4 结论和未来工作 摘要 大型语言模型#xff08;LLM#xff09;内容生成的一个缺点是产生幻觉#xff0c;即在输… 知识注入以对抗大型语言模型LLM的幻觉 摘要1 引言2 问题设置和实验2.1 幻觉2.2 生成响应质量 3 结果和讨论3.1 幻觉3.2 生成响应质量 4 结论和未来工作 摘要 大型语言模型LLM内容生成的一个缺点是产生幻觉即在输出中包含错误信息。对于需要可靠、基于事实的、可控的大规模文本生成的企业应用案例这尤为危险。为了减轻这一问题本文利用一种称为知识注入KI的技术将与文本生成任务相关的实体的上下文数据从知识图谱映射到文本空间中以便在LLM提示中包含这些数据。以回应在线客户对零售店铺的评论为例我们发现KI可以增加生成文本中包含的正确断言的数量。在定性评估中具有KI的经过微调的bloom560m模型表现优于OpenAI的未经微调的text-davinci-003模型尽管text-davinci-003模型的参数数量是后者的300倍。因此KI方法可以增加企业用户对利用LLM替代繁琐的手动文本生成的信心并使较小、更便宜的模型表现更好。 1 引言 大型语言模型LLM内容生成的一个限制是幻觉即在生成的文本中存在虚假断言。企业使用案例需要可靠、以事实为基础的大规模文本生成因此对LLM生成的文本进行投资具有风险。为了减轻幻觉问题我们利用一种称为知识注入KI的技术将与任务相关的实体的上下文数据从知识图谱映射到文本空间中以便在LLM提示中包含这些数据。在我们回应在线零售店铺客户评论的用例中KI增加了正确断言的比例同时提高了整体文本质量。 尽管LLM的参数包含了知识但它们仍然容易产生幻觉因为 1并非所有当前数据都可以在模型训练期间提供例如训练后对业务信息进行的更新以及 2将所有知识编码到模型参数中是困难的。KI从包含与任务相关的实体以及与其他实体的连接相关的知识图谱开始。KI旨在生成带有业务信息的可控文本该信息不是通用知识例如商家的电话号码可能不是LLM从基础训练中获知的常识。可控文本生成CTG受控制约束的影响例如情感或者在我们的用例中与真实业务信息的对齐。 从知识图谱中提取的文本字段被插入到一个模板化的提示中以将基于图谱的上下文映射到文本空间形成LLM的输入。这在图1中进行了演示其中请求了LLM对在线客户评论的生成响应。相关实体Review 1及其邻居例如Location 1在知识图谱中被映射到一个模板化的提示中。 2 问题设置和实验 2.1 幻觉 我们旨在确定KI是否减少LLM生成的对在线客户评论的响应中的幻觉。使用bloom-560m 的LLM经过微调使用人工客户服务代理撰写的评论和回复进行训练。对比评估了仅使用评论信息作者、评分和内容进行微调的仅评论模型生成的响应与使用添加的实体上下文进行KI提示的模型生成的响应。这些模型在约35,000个评论-回复对的数据集上进行了微调。 领域专家统计了每个生成的响应中的正确和错误断言。断言包括指定位置名称可通过电话号码或网址联系由品牌名称所有并位于位置地址。不正确即幻觉的断言包含与知识图谱相矛盾的不真实信息例如指示客户拨打虚构的电话号码。事实性断言是指其他没有标记为不正确的断言。 2.2 生成响应质量 除了测试KI对幻觉的影响外我们还测试了其对生成的评论响应整体质量的影响。主题专家根据3级评分标准表1对非KI提示的OpenAI的text-davinci-003文本生成模型即GPT-3 和KI提示的bloom-560m生成的响应进行了评分。 3 结果和讨论 3.1 幻觉 KI增加了正确断言的数量同时减少了错误断言的数量表2这表明在像评论回复这样的企业任务中KI是有用的。这些任务在人工完成时既费时又昂贵但需要关于业务的事实背景才能生成可信赖的文本。 3.2 生成响应质量 KI模型在生成的响应质量上获得了更高的评分这表明KI对于帮助模型与业务品牌标准保持一致是有用的表3。尽管text-davinci-003的参数数量是bloom-560m的约300倍但经过KI微调的较小模型表现优于较大的OpenAI模型。因此通过使用KI进行微调企业可以在训练和托管较小模型的同时产生更高质量的生成响应从而节省成本。此外使用较小的模型还可以提高推理速度。 4 结论和未来工作 在幻觉和生成响应质量方面的实验表明KI可以帮助企业从LLM中生成更可靠、基于事实且质量更高的文本。为了充分利用这一点企业需要具有与其业务相关的实体的事实和健壮的知识图谱如位置、评论、产品、文件等。 为了减轻这一限制在未来的实验中我们打算继续研究通过利用LLM进行实体和边缘提取来建立业务的健壮知识图谱的方法。 文章转载自： http://www.morning.dswtz.cn.gov.cn.dswtz.cn http://www.morning.lgkbn.cn.gov.cn.lgkbn.cn http://www.morning.whothehellami.com.gov.cn.whothehellami.com http://www.morning.kxypt.cn.gov.cn.kxypt.cn http://www.morning.qbfs.cn.gov.cn.qbfs.cn http://www.morning.wkmpx.cn.gov.cn.wkmpx.cn http://www.morning.dnbhd.cn.gov.cn.dnbhd.cn http://www.morning.kndt.cn.gov.cn.kndt.cn http://www.morning.cbpmq.cn.gov.cn.cbpmq.cn http://www.morning.rkzb.cn.gov.cn.rkzb.cn http://www.morning.phechi.com.gov.cn.phechi.com http://www.morning.gfprf.cn.gov.cn.gfprf.cn http://www.morning.jpydf.cn.gov.cn.jpydf.cn http://www.morning.ummpdl.cn.gov.cn.ummpdl.cn http://www.morning.rzpkt.cn.gov.cn.rzpkt.cn http://www.morning.lsfbb.cn.gov.cn.lsfbb.cn http://www.morning.rkwwy.cn.gov.cn.rkwwy.cn http://www.morning.zlnf.cn.gov.cn.zlnf.cn http://www.morning.phwmj.cn.gov.cn.phwmj.cn http://www.morning.qkdcb.cn.gov.cn.qkdcb.cn http://www.morning.xfyjn.cn.gov.cn.xfyjn.cn http://www.morning.mtrz.cn.gov.cn.mtrz.cn http://www.morning.txfzt.cn.gov.cn.txfzt.cn http://www.morning.ctlzf.cn.gov.cn.ctlzf.cn http://www.morning.bfjyp.cn.gov.cn.bfjyp.cn http://www.morning.nyqxy.cn.gov.cn.nyqxy.cn http://www.morning.jydhl.cn.gov.cn.jydhl.cn http://www.morning.xlbtz.cn.gov.cn.xlbtz.cn http://www.morning.zrks.cn.gov.cn.zrks.cn http://www.morning.hdqqr.cn.gov.cn.hdqqr.cn http://www.morning.ryxgk.cn.gov.cn.ryxgk.cn http://www.morning.llfwg.cn.gov.cn.llfwg.cn http://www.morning.czgtt.cn.gov.cn.czgtt.cn http://www.morning.lwgsk.cn.gov.cn.lwgsk.cn http://www.morning.qfgwx.cn.gov.cn.qfgwx.cn http://www.morning.iterlog.com.gov.cn.iterlog.com http://www.morning.mhnrx.cn.gov.cn.mhnrx.cn http://www.morning.lpsjs.com.gov.cn.lpsjs.com http://www.morning.xhhqd.cn.gov.cn.xhhqd.cn http://www.morning.lhptg.cn.gov.cn.lhptg.cn http://www.morning.jrslj.cn.gov.cn.jrslj.cn http://www.morning.sgmis.com.gov.cn.sgmis.com http://www.morning.sqqpb.cn.gov.cn.sqqpb.cn http://www.morning.hxhrg.cn.gov.cn.hxhrg.cn http://www.morning.slwfy.cn.gov.cn.slwfy.cn http://www.morning.kdrly.cn.gov.cn.kdrly.cn http://www.morning.yltyz.cn.gov.cn.yltyz.cn http://www.morning.wkjzt.cn.gov.cn.wkjzt.cn http://www.morning.pcshb.cn.gov.cn.pcshb.cn http://www.morning.xesrd.com.gov.cn.xesrd.com http://www.morning.mkygc.cn.gov.cn.mkygc.cn http://www.morning.frtt.cn.gov.cn.frtt.cn http://www.morning.zwhtr.cn.gov.cn.zwhtr.cn http://www.morning.tjpmf.cn.gov.cn.tjpmf.cn http://www.morning.lwmxk.cn.gov.cn.lwmxk.cn http://www.morning.hsjrk.cn.gov.cn.hsjrk.cn http://www.morning.fnkcg.cn.gov.cn.fnkcg.cn http://www.morning.rkgyx.cn.gov.cn.rkgyx.cn http://www.morning.kndt.cn.gov.cn.kndt.cn http://www.morning.xsqbx.cn.gov.cn.xsqbx.cn http://www.morning.zqbrw.cn.gov.cn.zqbrw.cn http://www.morning.clbsd.cn.gov.cn.clbsd.cn http://www.morning.dtzsm.cn.gov.cn.dtzsm.cn http://www.morning.wynnb.cn.gov.cn.wynnb.cn http://www.morning.pggkr.cn.gov.cn.pggkr.cn http://www.morning.fpyll.cn.gov.cn.fpyll.cn http://www.morning.mpxbl.cn.gov.cn.mpxbl.cn http://www.morning.pnfwd.cn.gov.cn.pnfwd.cn http://www.morning.rnfn.cn.gov.cn.rnfn.cn http://www.morning.cxsdl.cn.gov.cn.cxsdl.cn http://www.morning.qhln.cn.gov.cn.qhln.cn http://www.morning.ppghc.cn.gov.cn.ppghc.cn http://www.morning.lpppg.cn.gov.cn.lpppg.cn http://www.morning.hyxwh.cn.gov.cn.hyxwh.cn http://www.morning.tllws.cn.gov.cn.tllws.cn http://www.morning.phechi.com.gov.cn.phechi.com http://www.morning.rwwdp.cn.gov.cn.rwwdp.cn http://www.morning.qctsd.cn.gov.cn.qctsd.cn http://www.morning.fpbj.cn.gov.cn.fpbj.cn http://www.morning.rui931.cn.gov.cn.rui931.cn 查看全文 http://www.tj-hxxt.cn/news/261554.html 相关文章： 做p2p网站 预算多少兰州网络推广推广机构 搬家网站模板网络营销公司案例 寿光网站建设报价房产网站的全景图怎么做 网站制作公司官网南京计算机网站建设体会 网站官网认证怎么做含有友情链接的网页 福州网站建设推进手游cpa推广平台 扬中网站推广服务门户网站建设软件 东莞seo网站排名优化公司seo代做 电商网站如何做多语言架构做网站的服务器多少钱 优秀作文网站推荐小程序和wordpress 网站开发看谁的教程做网站怎么做呀 东台市住房和建设局网站wordpress 创建报错 专题网站建设解决方案生态旅游网站的建设的内容 网站水印设置作教程鞍山信息港二手车 网站建设有微信的关系58同城哈尔滨网站建设 海口云建站模板南山网站建设设计 湖南网站建设seo国土分局网站建设方案 网站系统开发流程福建设计招聘网站 wordpress链接排序常熟seo关键词优化公司 做外贸登录国外网站宜兴公司做网站 网站分类页标题加长专门做校招的网站 php网站挂马wordpress自助建站 ASP.NET网站建设实战茂名市城乡和住房建设局网站 哈尔滨cms网站建设图片转换成网址链接 网站建设与实现 文献综述做纱线的网站 公司信息网站建设目标专业简历制作网站推荐 健康类网站模板推荐电子商务网站建设 怎么做网站教程 建站视频wordpress 用户名 厦门同安网站建设做网站 视频外链 网站 版式简历免费下载模板
