三合一网站建设,做个网站多少钱 百度能查到的,网站底部广告代码,外贸网络营销定价策略发布时间#xff1a;2024 年 09 月 13 日
Agent应用 AgentRE: An Agent-Based Framework for Navigating Complex Information Landscapes in Relation Extraction 在复杂场景中#xff0c;关系抽取 (RE) 因关系类型多样和实体间关系模糊而挑战重重#xff0c;影响了传统 “…发布时间2024 年 09 月 13 日
Agent应用 AgentRE: An Agent-Based Framework for Navigating Complex Information Landscapes in Relation Extraction 在复杂场景中关系抽取 (RE) 因关系类型多样和实体间关系模糊而挑战重重影响了传统 “文本输入文本输出” 语言模型的性能。为此我们提出了基于代理的 RE 框架 AgentRE该框架通过整合大型语言模型的记忆、检索和反思能力有效应对这些挑战。AgentRE 包含三大模块助力代理高效获取并处理信息显著提升 RE 性能。实验表明AgentRE 在低资源环境下表现卓越并能生成高质量训练数据用于优化小型模型。 一、背景
关系抽取 Relation Extraction简称RE旨在将非结构化文本转换为结构化数据即关系三元组在知识图谱构建等领域能发挥关键作用。 然而关系抽取常因关系类型的多样性及句子中实体关系的模糊性等问题致使高效 RE 难以实现。 近年来大型语言模型Large Language Models, LLMs凭借其在自然语言理解与生成的强大效能逐渐在关系抽取领域获得广泛应用。虽已取得一定进展这些应用多限于监督式微调或小规模样本的问答QA形式的基础抽取于复杂关系抽取场景的应用则较少。 将LLMs应用于复杂RE任务时面临以下挑战
如何最大化利用LLMs的潜力深入挖掘有益于RE的多元信息 包括标记样本、关联文献及知识图谱内的知识等均可助力提升RE模型性能。遗憾的是LLMs的上下文窗口限制阻碍了对这些丰富信息的全面整合。如何在特定或数据贫乏领域有效实施RE 特定领域的数据稀缺性制约了传统监督模型的表现。如何以经济的方式实现高效的RE 虽然LLMs表现出色但在实践层面模型尺寸较小、计算资源需求低的模型更受欢迎。因此利用大型模型的智慧去微调小型模型成为了一个有吸引力的解决方案。
借鉴智能体框架的理念即通过赋予系统记忆、反思及与外界互动的能力可以有力推动复杂RE任务的解决。受此启发本文作者创新性地提出了一种基于智能体的RE框架——AgentRE旨在克服上述关系抽取挑战。
二、 什么是AgentRE? 上图 (a) 展示了“文本输入文本输出text-in, text-out”模式下语言模型的 RE 流程该模型直接从输入文本或通过简单的提示方法产生带有错误的结果。
图(b)则展示了AgentRE的RE流程这是一个包含检索和记忆模块的智能体框架在多次推理回合中利用各种信息以实现更精确的RE。
首先AgentRE 将大型语言模型LLM作为智能体处理来自不同渠道的数据。借助检索和记忆模块等工具辅助智能体进行推理。与传统的单轮“文本输入文本输出”语言模型不同AgentRE通过多轮交互和推理拓宽了信息源的利用范围克服了单轮提取的局限。
其次在资源有限的情况下AgentRE能够借助LLM的推理和记忆能力在提取过程中进行动态总结和反思从而精进其持续学习能力通过不断积累经验与知识提升提取效能。
最后将AgentRE的推理路径转化为包含多种推理策略的高质量数据如直接生成、分步提取和基于思维链的提取。这些丰富的数据可用于微调小型模型引导它们灵活选择不同的提取策略从而在成本可控的前提下提升模型的提取表现。
图(a)AgentRE的整体架构其中LLM扮演智能体的角色通过与检索、记忆和提取模块的协同工作从输入文本中提炼出关系三元组。
图(b)至(d)分别展示了检索、记忆和提取模块的内部结构。
检索模块Retrieval Module负责维护静态知识库便于存储和检索信息这包括训练集中的标注样本以及相关的标注指南等资料。记忆模块Memory Module负责维护动态知识库用于记录当前提取结果的短期记忆以及用于总结和反思历史操作的长期记忆。通过在记忆模块中进行读写操作记录并利用以往的提取经验。提取模块Extraction Module利用检索和记忆模块提供的信息通过多种推理方法从输入文本中抽取结构化信息关系三元组。
2.1 检索模块
检索模块负责从现有数据集中提取相关样本并搜集补充知识辅助提取模块完成关系提取RE任务。可检索的数据范围广泛且类型繁多主要分为两大类。
标注数据带有明确输入输出关系的标注数据这些数据可以作为少量样本整合进LLM的上下文中帮助模型把握当前任务的输入输出关系。 相关资讯包括关系定义、标注准则乃至百科全书中的外部知识。这些信息作为辅助资讯注入LLM的上下文能够辅助模型更好地理解提取任务。
为了高效地管理和运用这两类数据设计了两种特定的检索模块
样本检索模块相关信息检索模块。
一旦获取了富有信息量的标记数据和其它相关信息检索模块就可以利用这些数据
一种直接的方法是将它们合并为提示以此整合有益信息。这些提示词模板如上图所示。提示词分为不同颜色标记的多个部分每个部分都有清晰的标签引导模型处理输入文本并生成适当的输出。 • 紫色部分用于任务描述和输入句子• 蓝色部分用于示例和可能的关系类型• 青绿色部分用于相关信息• 黑色部分用于输出。 提取模块可能会采用除直接提示之外的各种推理方法。
2.1.1 样本检索
如图(b)下部展示样本检索模块利用编码器将当前文本转化为嵌入向量。计算训练数据集中样本与当前文本的相似性以检索与当前文本相似的样本。
例如对于句子“5月9日诺贝尔文学奖得主、作家莫言在北京发表了演讲。”样本检索模块可以从训练数据集中检索出相关样本如文本“When the newly minted Nobel Prize in Literature, British novelist Kazuo Ishiguro, found himself…”及其对应的关系三元组标签(Kazuo Ishiguro, 获奖, Nobel Prize in Literature)。
提取过程可能被分解为两个阶段
首先是识别句子中潜在的关系类型然后基于这些识别出的候选关系类型进行提取
检索候选关系类型的过程在图(b)中以虚线箭头表示。实现这种检索的一种有效方法是开发一个在数据集上训练的分类器预测给定文本中最可能出现的关系。此外利用LLMs的推理能力也可以实现检索关系类型的任务。
2.1.2 相关信息检索
如图(b)的上部展示相关信息检索模块的目的是检索与特定句子相关的知识点。相较于样本检索使用的嵌入检索技术本模块运用了多元化的检索手段融合向量与实体实现精确匹配与模糊语义匹配的有机结合。
以句子“5月9日诺贝尔文学奖得主、作家莫言在北京发表了演讲。”为例本模块不仅提取句子的语义信息还识别出其中的潜在实体如莫言、诺贝尔奖和北京并利用这些实体检索相关背景知识。
此外以诺贝尔奖为起点还能从标注指南中检索到关于奖项关系类型的详细描述包括关系两端实体的定义和深入阐释。
相关信息检索模块涵盖提取关键信息或生成嵌入向量的预处理环节以及多个用于检索输入文本相关资讯的检索器。在预处理阶段除了文本编码器还包含一个实体识别器用于识别输入文本中的所有潜在实体。
采用多种策略从不同数据源中检索相关知识比如从知识图谱中检索实体的属性和关系从标注指南中检索关系类型的解释性信息或是从外部百科全书中检索相关背景知识。记忆模块
2.2 记忆模块
记忆模块负责在提取过程中动态地利用现有知识并进行反思和总结更好地完成后续的提取任务。
仿照人脑的记忆机制模型的记忆被划分为短期记忆和长期记忆。
2.2.1 短期记忆
短期记忆记录了初步的提取经验。
如图©所示对于句子“博物馆位于莫言的故乡高密东北乡。”模型提取的结果是(莫言, 出生地, 高密东北乡)和(博物馆, 位于, 高密东北乡)。其中第一个关系三元组是正确的但第二个由于博物馆的指代不明确而被标记为错误。短期记忆中通过记录这些正确与错误的结果模型便能在后续的提取中将它们作为参考。这个过程相当于从过往经验中汲取教训。具体来说模型会分别在正确记忆和错误记忆中添加新的条目。
2.2.2 长期记忆
长期记忆涵盖了对过往记忆的深入反思与更新如图©所示。
在长期记忆中AgentRE能够基于准确的成果对长期记忆进行刷新并针对不准确的结果进行深思熟虑。
以图©的示例为鉴得到正确的提取成果后AgentRE便将其关于莫言的记忆从“莫言著名作家1955年2月17日出生本名管谟业”更新为“莫言著名作家1955年2月17日出生于高密东北乡本名管谟业”。对于错误的结果AgentRE则进行反思。比如面对一个错误的提取成果和相关的标注准则它会产生反思文本“根据标注准则不完整的实体如博物馆本不应被提取”。因此当接收到下一个输入文本“以最有影响力的当代作家和学者王先生命名的博物馆……”AgentRE便能借助先前的反思避免重蹈覆辙。
2.3 提取模块
AgentRE中提取模块借鉴了 ReAct 的互动式方法通过多轮的思考、行动、观察来推进如图(d)所描绘。
在此框架下检索与记忆模块被视作智能体可调用的外部工具。智能体通过一系列API接口输入工具名称和参数随后获得反馈结果。这种设计赋予了智能体灵活调用工具、选择工具种类及调用方式的能力。
以图(d)中的句子为例“5月9日诺贝尔文学奖得主、作家莫言在北京发表了演讲。”在首回合智能体识别出可能的关系类型随后决定调用SearchAnnotation API来获取相关资讯。进入第二轮智能体运用SearchKG API检索有关莫言的既有知识。最终在搜集到充分的信息后智能体执行Finish操作以产出提取成果。
在提取过程中AgentRE并非总是遵循一连串完整的ReAct互动。会根据输入文本的复杂度灵活选择最合适的提取策略。
比如在直接提取中预测的关系三元组直接从文本中导出在分阶段提取中先筛选关系类型再进行三元组的提取或者采用思维链CoT提取最终结果通过逐步推导生成。
2.4 小模型的精炼
在真实场景中部署具备强大推理能力的LLMs智能体以完成信息提取任务往往需要高昂的成本。
而相对较小的大型语言模型SLLMs在推理能力上通常表现逊色。为了弥补这一鸿沟作者提出了一种蒸馏学习的方法通过利用大型模型的历史推理路径来引导小模型的学习。
对不同类型问题采用多样化的推理策略可以显著增强模型解决问题的适应性。例如
在关系提取RE任务中文本中明确表述的直接关系可以直接推断并生成结构化输出。对于那些包含更复杂关系的句子采用基于思维链CoT的推理方法可以引导模型逐步逼近最终结果减少错误。
AgentRE推理框架通过智能体有效地为不同情境定制了多样化的推理方法。为了赋予SLLMs相似的能力并简化推理过程建议从AgentRE的历史推理路径中提炼出更简洁的推理逻辑用以指导小模型的学习。
3. 效果评估
3.1 测评数据集
为验证AgentRE的效能在以下两个数据集进行测试
DuIE作为规模最大的中文关系抽取数据集囊括了48类预设关系类型。覆盖了传统简单的关系类型也涵盖了涉及众多实体的复杂关系类型。该数据集的标注文本源自百度百科、百度信息流及百度贴吧共包含210,000句样本与450,000个关系实例。SciERC专为科学领域设计的英文命名实体识别与关系抽取数据集。其标注数据源自Semantic Scholar Corpus覆盖了500篇科学文章摘要。SciERC数据集共标注了8,089个实体和4,716个关系平均每篇文档包含9.4个关系。
3.2 测试基准方法
将AgentRE与数种基于LLM的信息抽取模型/框架进行了对比
ChatIE通过与ChatGPT的对话提出了一种零次学习IE方法将零次学习IE视为一种多轮问答过程。先识别潜在的关系类型再基于这些类型抽取关系三元组。GPT-RE在少量学习框架内采用任务感知检索模型并整合CoT自动推理机制以解决输入-标签映射中的实例相关性和解释问题。CodeKGC运用Python类来表达关系的框架模式通过推理依据增强信息抽取的准确性。CodeIE将IE任务转化为代码形式借助LLMs的代码推理能力。UIE引入了一种结构化编码语言用于文本到结构化输出的生成适用于T5模型的预训练。USM一个集结构化与概念能力于一体的统一语义匹配框架专为信息抽取设计基于RoBERTa构建。InstructUIE在Flan-T5上实施基于指令的微调以提升任务的泛化能力。
ChatIE和CodeKGC运用LLMs进行零次学习而CodeIE、CodeKGC和GPT-RE则采用少量学习策略。UIE、USM和InstructUIE则采用监督微调SFT。GPT-RE还在特定任务上对如text-davinci-003这样的大型模型进行了微调成本较高。
3.3 测评结果 实验结果如上图仅采用F1分数作为评价标准。
对于比较基准模型/框架尽量引用原始发表数据或通过复现其公布的模型与源代码来获取结果。
为了确保实验比较的公正性主要采用同一基础大型语言模型如gpt-3.5-turbo。对于那些采用不同基础模型的方法在表格中以斜体字呈现了它们的原始成果并补充了使用gpt-3.5-turbo作为基础模型所得到的结果。
上表根据三种不同的实验范式划分
零样本学习ZFL少样本学习FSL有监督的微调SFT
在SFT设置下这些方法大致可分为三类根据模型参数规模如下
1UIE使用的T5-v1.1-large和USM使用的RoBERTa-Large参数规模分别为0.77B和0.35B。2InstructUIE使用的Flan-T5和AgentRE-SFT使用的Llama-2-7b参数规模分别约为11B和7B。3GPT-RE-SFT使用的gpt-3.5-turbo参数规模约为175B。
在ZSL组中ChatIE-multi的表现超过了ChatIE-single说明多轮对话的有效性。AgentRE-ZSL的卓越表现则反映了其在高效利用辅助信息方面的优势。
在FSL组中CodeKGC-FSL超越了基于对话的ChatIE而GPT-RE与其表现相匹配突显了结构化推理和精确样本检索的优势。AgentRE-FSL显著超越了当前最佳模型展示了其在利用标记数据和辅助信息方面的卓优势。
在SFT设置下对较小模型如UIE和USM进行微调虽然优于基线模型但仍不及AgentRE-FSL。AgentRE-SFT在InstructUIE上的表现显著更佳证明了AgentRE中蒸馏学习的有效性。然而GPT-RE-SFT在SciERC上取得了最佳性能尽管由于其庞大的模型规模和基于text-davinci-003的API训练带来了更高的训练成本。
3.4 消融实验
消融实验探究了AgentRE在不同配置下的表现
缺少检索模块AgentRE-w/oR缺少记忆模块AgentRE-w/oM两者皆无AgentRE-w/oRM 依据上表AgentRE-w/oRM的性能显著不足表明这两个模块的关键作用。
AgentRE-w/oR和AgentRE-w/oM相较于AgentRE-w/oRM展现出更好的效果表明独立引入记忆和检索模块的好处。
完整框架AgentRE整合了这两个模块达到了最佳表现证明结合检索能力获取相似样本和利用记忆模块优化先前提取的协同效应。
3.4.1 检索模块分析
影响检索模块效果的主要变量包括用于数据表示和检索的模型以及检索过程中可用的内容。
上表结果表明无论是统计方法还是基于嵌入的方法都显著优于随机检索。这表明检索与输入文本更紧密相关的标记样本对于辅助模型的决策过程、提高其抽取精度具有显著效果。在评估的模型中BGE在两个数据集上均展现出最好的性能。
检索内容在为检索模块选定了基础模型之后进一步探讨不同类型可用信息对检索的影响。
上表列出了实验结果其中“None”和“AgentRE-w/oM”分别代表没有和仅有完整检索模块的变体。此外“-samples”、“-doc”和“-KG”分别表示缺少标记样本检索、注释指南检索和知识图谱检索组件的变体。
结果证实忽略任何类型的信息都会降低AgentRE的性能尤其是移除标记样本-samples对性能的影响最为显著。 为探究记忆模块对信息抽取效能的影响分析了在DuIE数据集上AgentRE在不同记忆配置下随着训练样本数量增加的F1、召回率和精确度得分如上图所示图中的X轴代表训练样本的数量。对比模型包括不包含记忆模块的AgentRE-w/oM、搭载浅层记忆的AgentRE-wM以及融合了浅层与深层记忆的AgentRE-wM。相较于缺乏记忆功能的模型这些搭载记忆模块的模型能够同时利用输入样本及历史抽取记录。
搭载记忆模块的模型AgentRE-wM和AgentRE-wM在所有评价指标上均优于无记忆模块的版本凸显了记忆模块在提升抽取精度方面的积极作用。随着数据量的增加搭载记忆模块的模型表现更佳这表明了利用过往抽取经验进行动态学习的有效性。AgentRE-wM在数据输入增多时相较于AgentRE-wM展现出更卓越的性能这暗示了一种全面的记忆方法超越了单纯的个体样本追踪能够进一步提升抽取效能。 代码请访问https://github.com/Lightblues/AgentRE 论文地址 https://arxiv.org/pdf/2409.01854
文章转载自： http://www.morning.nqcts.cn.gov.cn.nqcts.cn http://www.morning.rkmhp.cn.gov.cn.rkmhp.cn http://www.morning.bnlsd.cn.gov.cn.bnlsd.cn http://www.morning.tbstj.cn.gov.cn.tbstj.cn http://www.morning.c7623.cn.gov.cn.c7623.cn http://www.morning.gpryk.cn.gov.cn.gpryk.cn http://www.morning.gtqx.cn.gov.cn.gtqx.cn http://www.morning.qgfhr.cn.gov.cn.qgfhr.cn http://www.morning.wrkcw.cn.gov.cn.wrkcw.cn http://www.morning.fqklt.cn.gov.cn.fqklt.cn http://www.morning.jrhcp.cn.gov.cn.jrhcp.cn http://www.morning.mdmxf.cn.gov.cn.mdmxf.cn http://www.morning.ydrn.cn.gov.cn.ydrn.cn http://www.morning.pjyrl.cn.gov.cn.pjyrl.cn http://www.morning.brwnd.cn.gov.cn.brwnd.cn http://www.morning.ggfdq.cn.gov.cn.ggfdq.cn http://www.morning.qineryuyin.com.gov.cn.qineryuyin.com http://www.morning.pflpb.cn.gov.cn.pflpb.cn http://www.morning.dzyxr.cn.gov.cn.dzyxr.cn http://www.morning.wsyq.cn.gov.cn.wsyq.cn http://www.morning.jmbfx.cn.gov.cn.jmbfx.cn http://www.morning.gjlst.cn.gov.cn.gjlst.cn http://www.morning.pwgzh.cn.gov.cn.pwgzh.cn http://www.morning.nslwj.cn.gov.cn.nslwj.cn http://www.morning.nrcbx.cn.gov.cn.nrcbx.cn http://www.morning.nxtgb.cn.gov.cn.nxtgb.cn http://www.morning.rpzth.cn.gov.cn.rpzth.cn http://www.morning.kqxwm.cn.gov.cn.kqxwm.cn http://www.morning.tqrbl.cn.gov.cn.tqrbl.cn http://www.morning.oioini.com.gov.cn.oioini.com http://www.morning.xrsqb.cn.gov.cn.xrsqb.cn http://www.morning.nckzt.cn.gov.cn.nckzt.cn http://www.morning.bpmdr.cn.gov.cn.bpmdr.cn http://www.morning.kkdbz.cn.gov.cn.kkdbz.cn http://www.morning.rdkt.cn.gov.cn.rdkt.cn http://www.morning.ltksw.cn.gov.cn.ltksw.cn http://www.morning.pcgjj.cn.gov.cn.pcgjj.cn http://www.morning.rkfh.cn.gov.cn.rkfh.cn http://www.morning.nytpt.cn.gov.cn.nytpt.cn http://www.morning.rykmf.cn.gov.cn.rykmf.cn http://www.morning.xqjh.cn.gov.cn.xqjh.cn http://www.morning.wwznd.cn.gov.cn.wwznd.cn http://www.morning.qhvah.cn.gov.cn.qhvah.cn http://www.morning.gkdqt.cn.gov.cn.gkdqt.cn http://www.morning.gjlml.cn.gov.cn.gjlml.cn http://www.morning.ygflz.cn.gov.cn.ygflz.cn http://www.morning.zbkdm.cn.gov.cn.zbkdm.cn http://www.morning.jppdk.cn.gov.cn.jppdk.cn http://www.morning.trqzk.cn.gov.cn.trqzk.cn http://www.morning.mtrrf.cn.gov.cn.mtrrf.cn http://www.morning.zrlms.cn.gov.cn.zrlms.cn http://www.morning.dpqwq.cn.gov.cn.dpqwq.cn http://www.morning.qztdz.cn.gov.cn.qztdz.cn http://www.morning.tymnr.cn.gov.cn.tymnr.cn http://www.morning.c7630.cn.gov.cn.c7630.cn http://www.morning.ljbch.cn.gov.cn.ljbch.cn http://www.morning.gthc.cn.gov.cn.gthc.cn http://www.morning.ruifund.com.gov.cn.ruifund.com http://www.morning.qrwjb.cn.gov.cn.qrwjb.cn http://www.morning.qjrjs.cn.gov.cn.qjrjs.cn http://www.morning.yhgbd.cn.gov.cn.yhgbd.cn http://www.morning.ggrzk.cn.gov.cn.ggrzk.cn http://www.morning.mxhgy.cn.gov.cn.mxhgy.cn http://www.morning.ktcrr.cn.gov.cn.ktcrr.cn http://www.morning.xxiobql.cn.gov.cn.xxiobql.cn http://www.morning.cfybl.cn.gov.cn.cfybl.cn http://www.morning.tqpr.cn.gov.cn.tqpr.cn http://www.morning.nxfuke.com.gov.cn.nxfuke.com http://www.morning.ltrz.cn.gov.cn.ltrz.cn http://www.morning.rnngz.cn.gov.cn.rnngz.cn http://www.morning.jcyrs.cn.gov.cn.jcyrs.cn http://www.morning.tpxgm.cn.gov.cn.tpxgm.cn http://www.morning.mdnnz.cn.gov.cn.mdnnz.cn http://www.morning.ghfrb.cn.gov.cn.ghfrb.cn http://www.morning.gmrxh.cn.gov.cn.gmrxh.cn http://www.morning.xxsrm.cn.gov.cn.xxsrm.cn http://www.morning.nnhfz.cn.gov.cn.nnhfz.cn http://www.morning.sbrxm.cn.gov.cn.sbrxm.cn http://www.morning.yfstt.cn.gov.cn.yfstt.cn http://www.morning.cytr.cn.gov.cn.cytr.cn
