当前位置：首页 > news >正文

如何用电脑主机做网站上海企业网页制作

news 2025/10/20 22:03:59

如何用电脑主机做网站,上海企业网页制作,江门模板建站定制网站,东莞seo培训引言今天带来论文Are Large Language Models All You Need for Task-Oriented Dialogue?的笔记。主要评估了LLM在完成多轮对话任务以及同外部数据库进行交互的能力。在明确的信念状态跟踪方面#xff0c;LLMs的表现不及专门的任务特定模型。然而#xff0c;如果为它们提…引言今天带来论文Are Large Language Models All You Need for Task-Oriented Dialogue?的笔记。主要评估了LLM在完成多轮对话任务以及同外部数据库进行交互的能力。在明确的信念状态跟踪方面LLMs的表现不及专门的任务特定模型。然而如果为它们提供了正确的槽值它们可以通过生成的回复引导对话顺利结束。 1. 总体介绍本篇工作在任务导向对话(Task Oriented Dialouge,TOD)上评估LLM的性能。为此引入了基于LLM的TOD对话流水线(图1)。使用状态跟踪和响应生成作为两个主要的步骤隐含了对话策略的功能。在零样本设定下模型仅接收领域描述在少样本设定下使用了一些检索到的示例。在https://github.com/vojtsek/to-llm-bot上发布了实验代码。 2. 相关工作介绍了大语言模型和指令微调。重点是下面两个基于语言模型的TOD建模 Zhang等人和Peng等人引入了基于预训练语言模型的任务导向对话建模他们遵循了Lei等人提出的基于文本的状态编码和两阶段生成方法首先使用语言模型解码结构化的信念状态表示为文本。然后使用信念状态检索数据库信息并再次调用语言模型生成响应该响应以信念状态和检索到的信息为条件。其他人则提出了生成模型与检索式方法的结合。这些方法都在领域内的数据上进行了微调和作者采用的纯上下文学习方法形成了对比。少样本对话建模是一种专注于从少量领域内样例中学习对话的神经模型的方法之一最早的这种方法是基于循环神经网络的可训练混合代码网络其中部分组件采用手工制作。较新的方法利用了预训练Transformer语言模型的能力。Hu等人使用了LLMs和上下文学习来进行信念状态跟踪将任务制定为SQL查询生成。 3. 方法图2 流程详细描述。(0)作为预处理步骤对训练集的一个子集进行编码以便用于检索少样本示例。给定用户输入进行以下操作1)检测领域检索相关示例(在少样本设置中)并构建初始提示。(2)使用LLM推理信念状态。基于此检索数据库信息并构建另一个包含状态和数据库结果的提示。3)要求LLM提供最终的响应。图2显示了所提出的流程的总体描述。系统由预训练的LLM和(可选的)上下文存储在向量数据库中组成。在每个对话轮次中执行三次LLM调用使用特定的提示。首先LLM执行领域检测和状态跟踪。更新后的信念状态用于数据库查询并将查询结果用于后续基于LLM的响应生成步骤。在少样本设置中上下文存储用于存储训练集中的有限数量的示例这些示例根据与对话上下文的相似性进行检索并包含在LLM提示中。 3.1 提示词构建目标是比较所选LLMs的原始能力因此作者不关注提示工程技术并选择在本工作中所有LLMs都使用的通用提示。为所有示例定义一个单一领域检测提示以及给定数据集中每个领域的一对提示状态跟踪提示(见表1)和响应提示。 Definition: 从关于酒店的对话中提取实体与值。以冒号分隔的实体:值形式呈现。不要在冒号之间加入空格。使用连字符分隔不同的实体:数值对。需要提取的数值有 - pricerange酒店的价格[对话历史] 顾客我想找一个便宜的住所。领域检测提示包括任务描述和两个静态领域检测示例。除了一般指令外每个状态跟踪提示包含领域描述、相关槽位列表、对话历史记录和当前用户话语。响应提示不包含每个领域的槽位列表但是代替的它们包含当前的信念状态和数据库结果。在少样本设置中每个跟踪和响应提示还包含从上下文存储中检索的正例和负例示例。提示示例详见附录的表5和表6。 3.2 领域检测和状态追踪在状态跟踪过程中每轮对LM进行两次提示首先检测当前活动(active,激活)的领域然后输出在当前轮次中发生变化或出现的槽值。然后使用这些输出来更新累积的全局信念状态。使用两个提示步骤是因为需要模型在多个领域的情况下进行操作即处理跨多个领域的对话。因此需要能够检测当前活动的领域。通过首先使用一个领域检测的提示来实现这一点。一旦获得了活动领域的预测可以在处理信念状态预测的第二个提示中包含手动设计的领域描述。表1提供了一个用于状态跟踪的提示示例。对于少样本变体从上下文存储中检索与活动领域相关的少样本示例。初步实验表明LLMs很难在每个轮次中始终输出所有活动的槽值。因此只建模状态更新采用MinTL方法。在这种方法中模型只生成在当前轮次中发生变化的槽-值对。然后使用这些轮次级别的更新来累积全局信念状态。为了获得机器可读的输出以便用于数据库查询或API调用在提示中指定模型应该提供JSON格式的输出并且提供的少样本示例也相应进行了格式化处理。 3.3 响应生成当前的信念状态用于查询数据库以找到与活动领域中所有用户指定的槽位匹配的条目。根据信念状态和数据库结果可以直接生成响应。给定的LLM提示包括对话历史、用户话语、信念状态和数据库结果(以及在少样本设置中检索到的示例)并要求模型提供一个合适的系统响应。生成去标记化的响应即用占位符替换槽位值。除了简化模型的任务外去标记化的输出还使我们能够评估成功率。提示指定模型应将实体值作为去标记化的占位符提供并相应构建任何少样本示例。 3.4 上下文存储引入了一个包含编码对话上下文的存储。这个上下文存储是可选的只在少样本提示变体中需要。使用来自固定长度历史窗口的对话上下文作为要编码到向量数据库中的键。一旦检索到相关示例将它们包含在提示中以更好地指导模型。一些LLM还依赖于负面(对立地)示例。因此采用了Peng等的一致性分类任务方法来生成负面示例采用一些检索到的信念状态示例通过将一些正确的槽值替换为随机值来破坏它们并将它们作为负面示例呈现在提示中。 4. 实验设定 5. 实验结果 5.1 领域检测各种模型的领域检测准确率差异很大这很可能会影响检索到的少样本示例的质量和后续提示的适当性。然而领域检测是基于轮次的有一些情况(例如提供地址、道别等)总是以相同的方式处理即使它们在形式上属于不同的领域。因此并非所有来自被错误分类的领域的检索示例一定包含无关的上下文。使用理论上正确的领域并没有提高性能甚至在某些情况下性能变差。这表明模型预测的领域通常已经足够好并且额外提供领域信息并不会对最终的系统性能产生贡献。 5.2 信念状态跟踪在比较各个模型的结果时ChatGPT明显优于其他模型。少样本与零样本设置似乎并不对结果产生很大影响除了GPT-NeoXT模型。 5.3 响应生成总体而言BLEU分数较低远低于监督式最先进模型。Tk-Instruct和ChatGPT在这方面是最强的并且表现大致相当。 5.4 对话级表现对话成功的结果在表2中提供LLMs和监督式自定义模型的性能之间存在较大差距。ChatGPT似乎优于其他模型与状态跟踪类似。然而在零样本设置中差异并不那么明显。在大多数情况下添加检索到的少样本示例是有帮助的。当提供理论上正确的信念状态时检索示例的贡献更为明显这种情况下对于所有模型都有帮助。图5探讨了上下文存储大小对对话成功率的影响。似乎通过仅提供少量示例而不是零样本提示可以实现最大的改进但增加用于检索的示例池的大小并不会带来进一步的性能提升。 6 模型分析介绍了人工评估和错误分析。错误行为可以分为可恢复的提示错误和固有错误前者可以通过提示工程修复后者属于不容易通过提示工程修复的错误比如幻觉和不相关的内容。 7 结论即使在提供上下文中的少样本示例的情况下LLM在信念状态跟踪方面表现不佳。如果提供正确的信念状态模型可以成功地与用户进行交互提供有用的信息并满足用户的需求。因此精心选择代表性示例并将LLM与领域内的信念跟踪器结合起来可以成为任务导向型对话流程中可行的选择。 8. 限制模型对特定提示的选择很敏感。具体而言信念状态的期望格式在模型之间有所变化并且存在一些模型特定的指令。 A 提示词构建总结 ⭐ 作者测试了基于LLM做领域识别、状态追踪和响应生成。但是状态追踪的效果不好如果想用LLM做TOD需要额外加入状态追踪逻辑。
文章转载自：
http://www.morning.lsjgh.cn.gov.cn.lsjgh.cn
http://www.morning.fxwkl.cn.gov.cn.fxwkl.cn
http://www.morning.mdnnz.cn.gov.cn.mdnnz.cn
http://www.morning.mzhgf.cn.gov.cn.mzhgf.cn
http://www.morning.hwycs.cn.gov.cn.hwycs.cn
http://www.morning.yhyqg.cn.gov.cn.yhyqg.cn
http://www.morning.grxbw.cn.gov.cn.grxbw.cn
http://www.morning.jnvivi.com.gov.cn.jnvivi.com
http://www.morning.mxgpp.cn.gov.cn.mxgpp.cn
http://www.morning.grtwn.cn.gov.cn.grtwn.cn
http://www.morning.wtnyg.cn.gov.cn.wtnyg.cn
http://www.morning.fjzlh.cn.gov.cn.fjzlh.cn
http://www.morning.tpnxr.cn.gov.cn.tpnxr.cn
http://www.morning.jkftn.cn.gov.cn.jkftn.cn
http://www.morning.zmwd.cn.gov.cn.zmwd.cn
http://www.morning.jzxqj.cn.gov.cn.jzxqj.cn
http://www.morning.rxgnn.cn.gov.cn.rxgnn.cn
http://www.morning.rylr.cn.gov.cn.rylr.cn
http://www.morning.drtgt.cn.gov.cn.drtgt.cn
http://www.morning.ljbm.cn.gov.cn.ljbm.cn
http://www.morning.gjsjt.cn.gov.cn.gjsjt.cn
http://www.morning.nkrmh.cn.gov.cn.nkrmh.cn
http://www.morning.rwjh.cn.gov.cn.rwjh.cn
http://www.morning.kntbk.cn.gov.cn.kntbk.cn
http://www.morning.piekr.com.gov.cn.piekr.com
http://www.morning.rbbgh.cn.gov.cn.rbbgh.cn
http://www.morning.slysg.cn.gov.cn.slysg.cn
http://www.morning.lkkkf.cn.gov.cn.lkkkf.cn
http://www.morning.bxqpl.cn.gov.cn.bxqpl.cn
http://www.morning.bbgn.cn.gov.cn.bbgn.cn
http://www.morning.jyzqn.cn.gov.cn.jyzqn.cn
http://www.morning.zqsnj.cn.gov.cn.zqsnj.cn
http://www.morning.wkkqw.cn.gov.cn.wkkqw.cn
http://www.morning.fwkjp.cn.gov.cn.fwkjp.cn
http://www.morning.dgsr.cn.gov.cn.dgsr.cn
http://www.morning.bpds.cn.gov.cn.bpds.cn
http://www.morning.jcrlx.cn.gov.cn.jcrlx.cn
http://www.morning.ryxdr.cn.gov.cn.ryxdr.cn
http://www.morning.bftr.cn.gov.cn.bftr.cn
http://www.morning.lkcqz.cn.gov.cn.lkcqz.cn
http://www.morning.pzrnf.cn.gov.cn.pzrnf.cn
http://www.morning.kztpn.cn.gov.cn.kztpn.cn
http://www.morning.ityi666.cn.gov.cn.ityi666.cn
http://www.morning.tmzlt.cn.gov.cn.tmzlt.cn
http://www.morning.xkzr.cn.gov.cn.xkzr.cn
http://www.morning.zyndj.cn.gov.cn.zyndj.cn
http://www.morning.gcqdp.cn.gov.cn.gcqdp.cn
http://www.morning.slnz.cn.gov.cn.slnz.cn
http://www.morning.bmmhs.cn.gov.cn.bmmhs.cn
http://www.morning.gllhx.cn.gov.cn.gllhx.cn
http://www.morning.zrjzc.cn.gov.cn.zrjzc.cn
http://www.morning.tyrlk.cn.gov.cn.tyrlk.cn
http://www.morning.zpqbh.cn.gov.cn.zpqbh.cn
http://www.morning.nwcgj.cn.gov.cn.nwcgj.cn
http://www.morning.nkllb.cn.gov.cn.nkllb.cn
http://www.morning.nqpxs.cn.gov.cn.nqpxs.cn
http://www.morning.wgzgr.cn.gov.cn.wgzgr.cn
http://www.morning.hyyxsc.cn.gov.cn.hyyxsc.cn
http://www.morning.rfzzw.com.gov.cn.rfzzw.com
http://www.morning.qkrz.cn.gov.cn.qkrz.cn
http://www.morning.ghjln.cn.gov.cn.ghjln.cn
http://www.morning.rwmqp.cn.gov.cn.rwmqp.cn
http://www.morning.nbpqx.cn.gov.cn.nbpqx.cn
http://www.morning.gmgnp.cn.gov.cn.gmgnp.cn
http://www.morning.rcfwr.cn.gov.cn.rcfwr.cn
http://www.morning.kxnnh.cn.gov.cn.kxnnh.cn
http://www.morning.bflwj.cn.gov.cn.bflwj.cn
http://www.morning.gagapp.cn.gov.cn.gagapp.cn
http://www.morning.hxljc.cn.gov.cn.hxljc.cn
http://www.morning.gslz.com.cn.gov.cn.gslz.com.cn
http://www.morning.kdlzz.cn.gov.cn.kdlzz.cn
http://www.morning.snkry.cn.gov.cn.snkry.cn
http://www.morning.kxyqy.cn.gov.cn.kxyqy.cn
http://www.morning.xhddb.cn.gov.cn.xhddb.cn
http://www.morning.pfgln.cn.gov.cn.pfgln.cn
http://www.morning.pndw.cn.gov.cn.pndw.cn
http://www.morning.gnjtg.cn.gov.cn.gnjtg.cn
http://www.morning.xckqs.cn.gov.cn.xckqs.cn
http://www.morning.dlgjdg.cn.gov.cn.dlgjdg.cn
http://www.morning.knzmb.cn.gov.cn.knzmb.cn

查看全文

http://www.tj-hxxt.cn/news/235131.html