高清做爰片免费观看网站,做网站开发需要学什么,湖北省建设主管网站,优化大师百科学习内容
由于刚刚进入知识图谱领域#xff0c;对该领域的研究热点不是很了解#xff0c;所以本文直接翻译ACL2021中关于知识抽取NER中各个论文的摘要和共享#xff1b;并且适时在最后写出自己的理解#xff1b;同时自己也会在了解完全部后给出各个论文的研究分类。
1. 题…学习内容
由于刚刚进入知识图谱领域对该领域的研究热点不是很了解所以本文直接翻译ACL2021中关于知识抽取NER中各个论文的摘要和共享并且适时在最后写出自己的理解同时自己也会在了解完全部后给出各个论文的研究分类。
1. 题目 Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning利用外部上下文检索和合作学习改进命名实体识别
Abstract
命名实体识别NER的最新进展表明文档级上下文可以显著提高模型性能。但是在许多应用程序场景中这样的上下文不可用。在本文中我们建议通过搜索引擎检索和选择一组语义相关的文本以原始句子作为查询来查找句子的外部上下文。我们从经验上发现基于检索的输入视图通过连接句子及其外部上下文构建计算的上下文表示与仅基于句子的原始输入视图相比可以显著提高性能。此外我们可以通过合作学习来提高两个输入视图的模型性能合作学习是一种鼓励两个输入视图产生相似上下文表示或输出标签分布的训练方法。实验表明我们的方法可以在5个域的8个NER数据集上实现最新的性能。
Introduction 上图的意思是 如果我们单纯的采用原有的句子那么得到的Label是非实体 但是如果我们采用了检索文本有相同的词作为我们的辅助那么这个结果就会不一样了可以检测出该单词是Group的词性。
Contribution
本文的贡献如下
1.我们提出了一种简单而直接的方法通过使用搜索引擎检索相关文本来改进输入句子的上下文表示。我们将检索到的文本与输入的句子一起作为一个新的基于检索的视图。2.我们提出合作学习在统一模型中共同提高两个输入视图的准确性。我们提出了两种分别基于 L 2 L_{2} L2范式和KL散度的CL方法。CL可以利用未标记的数据进行进一步的改进。3.我们在5个领域的多个NER数据集中展示了我们方法的有效性我们的方法达到了最先进的精度。通过利用大量未标记的数据可以进一步提高性能。
关键词文档上下文 外部上下文搜索引擎 transformer CRF 合作学习
Method
一个输入句子x被输入到搜索引擎中以获得与k相关的文本。然后将相关文本输入重新排序模块。该框架选择从重新排序模块输出的 l l l个级别最高的相关文本并将文本与输入句子一起提供给基于转换器的模型。最后我们计算负似然损失 L C L − L 2 L_{CL-L_{2}} LCL−L2以及CL损失 L C L − K L L_{CL-KL} LCL−KL。其中CL表示的是协作学习的首字母缩写 v v v代表的是vector。使得两个视图之间不仅特征标记距离小 而且使得预测的结果距离也小。 后面的 L N L L L_{NLL} LNLL则是负似然损失函数 其中 牵扯到的基本方法 Re-ranking CRF条件随机场 一个CL损失一个是负似然损失函数
2. 题目Locate and Label: A Two-stage Identifier for Nested Named Entity定位和标记用于嵌套命名实体识别的两阶段标识符
作者 沈永良浙江大学计算机科学与技术学院、马新音中国科技大学
Abstract
命名实体识别NER是自然语言处理中的一项研究热点。传统的NER研究只涉及平面实体忽略了嵌套实体。基于跨度的方法将实体识别视为跨度分类任务。这些方法虽然具有处理嵌套NER的能力但计算量大对边界信息的忽略对部分匹配实体的跨度利用不足长实体识别困难。为了解决这些问题我们提出了一种两阶段实体标识符。首先我们通过对种子跨度进行过滤和边界回归来生成跨度建议以定位实体然后用相应的类别标记边界调整后的跨度建议。该方法在训练过程中有效地利用了实体和部分匹配跨距的边界信息。通过边界回归理论上可以覆盖任意长度的实体提高了识别长实体的能力。此外在第一阶段中过滤掉许多低质量的种子跨度降低了推理的时间复杂度。在嵌套的NER数据集上的实验表明本文提出的方法优于现有的模型。
Introduction
下图解释什么叫平面实体和嵌套实体 Contribution
我们将NER视为边界回归和跨度分类的联合任务
我们有效地利用边界信息。通过进一步识别实体边界我们的模型可以调整边界以准确定位实体。在训练边界回归器时除了边界级平滑L1损失外我们还使用跨度级损失用于测量两个跨度之间的重叠。在训练过程中我们不是简单地将部分匹配的跨度视为负面示例而是基于IoU交并比构造软示例。这不仅缓解了正面和负面例子之间的不平衡而且有效地利用了与基本真理实体部分匹配的跨度实验结果表明该模型在KBP17、ACE04和ACE05数据集上取得了一致的最新性能在F1成绩上该模型在KBP17、ACE04和ACE05数据集上的表现分别比同类基准模型好3.08%、0.71%和1.27%。
关键字定位和标记嵌套实体跨度分类任务长实体两个阶段的实体标识符边界边界回归
Method 第一阶段是生成跨度index 第二阶段是添加损失来限制index 第三阶段是交叉熵损失 上文使用IoU在这些种子跨度中与实体重叠程度较高的部分为提案跨度proposal spans而重叠程度较低的部分为上下文跨度contextual spans。
IoU 交并比 交并比Intersection-over-UnionIoU目标检测中使用的一个概念是产生的候选框candidate bound与原标记框ground truth bound的交叠率即它们的交集与并集的比值。 最理想情况是完全重叠即比值为1最理想情况是完全重叠即比值为1 3. 题目FEW-NERD: A Few-shot Named Entity Recognition Datasetfew-nerd一个小样本的命名实体数据集
作者 宁定 徐光伟陈玉林 作者单位清华大学计算机科学与技术系阿里巴巴集团清华大学深圳国际研究生院
Abstract
最近大量文献围绕着少样本命名实体识别NER这一主题展开但很少有公开的基准数据专门关注这一实际且具有挑战性的任务。目前的方法是收集现有的有监督的NER数据集并将其重新组织为少数镜头设置进行实证研究。这些策略通常旨在识别粗粒度的实体类型示例很少而在实践中大多数看不见的实体类型都是细粒度的。在本文中我们介绍了一个大规模的人类注释的小样本NERD数据集它具有8种粗粒度和66种细粒度实体类型的层次结构。Few-NERD由来自维基百科的188238个句子组成包含4601160个单词每个单词都被标注为上下文或两级实体类型的一部分。据我们所知这是前几次拍摄的NER数据集和最大的人类手工完成的数据集。我们构建了不同侧重点的基准任务来综合评估模型的泛化能力。大量的实证结果和分析表明few-nerd具有挑战性这个问题需要进一步研究。few-nerd公开在了github上
Few-NERD粗细粒度在下图中展示其中内圈表示的是粗粒度外圈是细粒度 关键字 few-shot nerd 粗细粒度 最大的手工NERD数据集
Contribution
提出了一个benchmark
4. 题目MLBiNet: A Cross-Sentence Collective Event Detection NetworkMLBiNet一种跨句集合事件检测网络
作者 楼东方廖志林 作者机构浙江大学26 AZFT联合知识引擎实验室浙江大学杭州创新中心
Abstract
我们考虑共同检测多个事件的问题特别是在交叉语句设置中。处理这个问题的关键是对语义信息进行编码并在文档级别对事件的相互依赖性进行建模。本文将其转化为Seq2Seq任务提出了一种多层双向网络MLBiNet来同时捕获文档级的事件关联和语义信息。具体地说在解码事件标记向量序列时首先设计了一个双向解码器来模拟句子中的事件相互依赖关系。其次使用信息聚合模块聚合句子级语义和事件标记信息。最后我们堆叠多个双向解码器并提供跨句子信息形成一个多层双向标记架构以迭代地跨句子传播信息。我们表明与当前最先进的结果相比我们的方法在性能上有了显著的改进。
下表是ACE2005语料库跨句语义增强和事件相互依赖具体来说s2的语义信息提供了增强s3的潜在信息s4中的攻击事件也有助于增强s3。
Contribution
我们在ACE 2005语料库上进行了实验研究以证明其在跨句联合事件检测中的优势。我们的贡献总结如下
我们提出了一种新的双向解码器模型用于显式捕获句子中的双向事件相互依赖缓解了传统标记结构的长距离遗忘问题我们提出了一个称为MLBiNet的模型用于跨句子传播语义和事件相互依赖信息并集体检测多个事件我们在ACE 2005语料库上取得了最好的性能F1value超过了最新水平1.9分。
关键字 事件监测交叉语句语义信息事件的相互依赖双向解码器信息聚合模块
这里的事件是交叉语句中的事件因为它们之间是有相互增强作用的 总体就是用双向解码器来处理语义和交叉语句的事件关系之后用信息聚合模块来聚合两方面的信息。
5. 题目OntoED: Low-resource Event Detection with Ontology EmbeddingOntoED嵌入本体的低资源事件检测
作者邓淑敏 浙江大学 张宁豫浙江大学陈辉阿里巴巴 数据集及代码https://github.com/231sm/Reasoning_In_EE
Abstract
事件检测ED旨在从给定文本中识别事件触发词并将其分类为事件类型。目前大多数的事件关联方法严重依赖于训练实例几乎忽略了事件类型之间的相关性。因此他们往往遭受数据匮乏的困扰无法处理新的看不见的事件类型。为了解决这些问题我们将ED描述为一个事件本体填充过程将事件实例链接到事件本体中预定义的事件类型并提出了一个新的ED框架名为OntoED 本体嵌入。我们通过事件类型之间的联系来丰富事件本体并进一步归纳出更多的事件关联。基于事件本体OntoED可以利用和传播相关知识特别是从数据丰富到数据贫乏的事件类型。此外通过建立与现有事件的链接OntoED可以应用于新的不可见事件类型。实验表明ONTED比以前的ED方法更具优势和鲁棒性尤其是在数据稀缺的情况下。
下图是一个暴力和攻击被宣判的示例图同时展示了事件监测中出现的问题比如图中暴乱事件的规模在两种类型中相差甚远在低资源情景中监督ED模型容易过度拟合因为他们需要所有事件类型的足够训练实例。另一方面现实世界的应用程序往往是开放的并且发展迅速因此可能会有许多新的看不见的事件类型。处理新的事件类型甚至可能需要重新开始而不能重复使用以前的注释。 Contribution
我们的贡献可以概括如下
我们研究低资源事件检测问题提出了一种基于本体的新模型OntoED它编码事件的内部和内部结构本文提出了一种基于本体嵌入事件关联的ED框架该框架将符号规则与流行的深部神经网络进行相互操作本文针对ED建立了一个新的数据集OntoEvent实验结果表明该模型在整体、少镜头和零镜头设置方面都能取得较好的性能。
关键词事件监测ED资源不足事件触发词 事件类型之间的相关性 事件本体填充
本文重点解决的就是低资源场景下事件类别之间的隐含关联事件本体填充的意思就是初始的事件本体包含孤立的事件类型和事件实例这一步就是为了建立起事件类型和事件实例的初始关联并建立起事件实例之间的联系。
6. 题目BERTifying the Hidden Markov Model for Multi-Source Weakly Supervised Named Entity Recognition多源弱监督命名实体识别的隐马尔可夫模型的改进
作者李英豪乔治亚理工学院美国亚特兰大 代码 github.com/Yinghao-Li/CHMM-ALT
Abstract
我们研究的问题使用来自多个弱监督源的噪声标签学习命名实体识别NER标记器。尽管获取成本低廉但来自薄弱监管来源的标签往往不完整、不准确、相互矛盾因此很难学习准确的NER模型。为了应对这一挑战我们提出了一种条件隐马尔可夫模型CHMM该模型能够以无监督的方式从多源噪声标签中有效地推断出真实标签。CHMM利用原来训练好的具有语境表征能力的语言模型的力量增强了经典的隐马尔可夫模型。具体地说CHMM从输入标记的BERT嵌入中学习标签转换和排放概率从而从嘈杂的观察中推断出潜在的真实标签。我们通过另一种培训方法CHMMAT进一步完善了CHMM。它使用CHMM推断的标签微调BERT-NER模型该BERTNER的输出被视为训练CHMM的附加弱源。在不同领域的四个NER基准测试上的实验表明我们的方法比最新的弱监督NER模型有很大的优势。
Contribution
我们的贡献包括
一个多源标签聚合器CHMM具有令牌转换和发射概率用于聚合来自不同弱标签源的多组NER标签一种交替的训练方法CHMM-ALT该方法依次训练CHMM和BERT-NER利用彼此的多回路输出优化多源弱监督NER性能对来自不同领域的四个NER基准的综合评估表明CHMM-ALT与最强的基线模型相比F1平均得分提高了4.83。
关键词 弱监督源 噪声标签 条件隐藏式的马尔可夫模型 真实标签多元标签聚合器交替训练改进BERT-NER
弱监督学习 链接 南京大学周志华教授在2018年1月发表了一篇论文叫做《A Brief Introduction to Weakly Supervised Learning》弱监督学习是相对于全部真值标签这样的强监督信息而言的什么是弱监督学习呢文章里说弱监督学习可以分为三种典型的类型不完全监督Incomplete supervision不确切监督Inexact supervision不精确监督Inaccurate supervision。
7. 题目 Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker基于异构图交互模型和跟踪器的文档级事件提取
作者 徐润欣北京大学计算语言学重点实验室中国教育部常宝宝北京大学计算语言学重点实验室中国教育部中国深圳彭城实验室 代码https://github. com/RunxinXu/GIT
Abstract
文档级事件提取旨在识别整篇文章中的事件信息。由于该任务的两个挑战现有的方法并不有效a目标事件参数分散在句子中b 文档中事件之间的关联对于模型来说是非常重要的。在本文中我们提出了基于异构图的带有跟踪器的交互模型GIT来解决上述两个难题。对于第一个挑战GIT构建了一个异构图交互网络来捕获不同句子和实体提及之间的全局交互。对于第二种情况GIT引入了一个跟踪模块来跟踪提取的事件从而捕获事件之间的相互依赖关系。在大规模数据集上的实验Zheng et al.2019表明GIT的性能比以前的方法好2.8倍。进一步的分析表明GIT可以有效地提取分散在文档中的多个相关事件和事件参数。
下图展示了提出文档级事件的两个难点 第一图1显示了一个示例即实体降低权重EU和实体增加权重EO事件记录是从财务文档中提取的。提取EU事件的难度较小因为所有相关论点都出现在同一句话中第2句然而对于EO记录的论点2014年11月6日出现在第1句和第2句中而吴晓婷出现在第3句和第4句中。在不考虑句子和实体提及之间的全球互动的情况下识别此类事件将是一个相当大的挑战。第二一个文档可以同时表示多个相关事件并且识别它们之间的相互依赖性是2021年5月31日成功开采的基础。如图1所示这两个事件是相互依赖的因为它们对应于完全相同的事务因此共享相同的起始日期。对相关事件之间的这种相互依赖性进行有效建模仍然是这项任务的关键挑战。 Contribution
我们的贡献总结如下
我们为文档级EE构建了一个异构图交互网络。通过不同的异构边缘该模型可以捕获不同句子中分散事件参数的全局上下文我们引入了一种新的跟踪模块来跟踪提取的事件记录。跟踪器简化了提取相关事件的难度因为将考虑事件之间的相互依赖性实验表明在包含32040个文档的大规模公共数据集Zheng等人2019年上GIT的性能比之前的最新模型高出2.8 F1特别是在跨句事件和多事件场景上F1的绝对增长率分别为3.7和4.9。
关键词 文档级事件 目标事件事件之间的关联异构图交互网络句子和事件全局交互 跟踪模块事件与事件相互依赖
8. 题目LearnDA: Learnable Knowledge-Guided Data Augmentation for Event Causality IdentificationLearnDA用于事件因果关系识别的可学习知识引导数据扩充
Abstract
事件因果关系识别的现代模型(ECI)主要基于监督学习容易出现数据缺失问题。不幸的是现有的NLP相关的增强方法无法直接生成此任务所需的可用数据。为了解决数据缺乏的问题我们引入了一种新的方法通过在双重学习框架中迭代生成新的示例并对事件因果关系进行分类来增加事件因果关系识别的训练数据。一方面我们的方法是知识引导的它可以利用现有的知识库生成格式良好的新句子。另一方面我们的方法采用了双重机制这是一个可学习的扩充框架可以交互地调整生成过程以生成任务相关句子。在两个基准EventStoryLine和 Causal-TimeBank上的实验结果表明1我们的方法可以为ECI增加合适的任务相关训练数据2 我们的方法在两个基准EventStoryLine和 Causal-TimeBankF1值分别为2.5点和2.1点方面优于以前的方法。
Introduction
下图解释了什么叫做ECI 事件因果关系识别ECI旨在识别文本中事件之间的因果关系这可以为NLP任务提供重要线索如逻辑推理和问答。这个任务通常被建模为一个分类问题比如确定句子中两个事件之间是否存在因果关系。例如在图1中ECI系统应该在两句话中识别两种因果关系1attack ------》(cause)killed 在S1中2statement--------》(cause)protests在S2中但是现有的ECI都是基于带有注释的数据集的数据集相对较小这阻碍了高性能事件因果推理模型的训练Easy data augmentationEDA数据增强方法是最具代表性的方法它依赖词汇替换、删除、交换和插入来生成新数据。然而仅仅依靠这些单词操作通常会产生新的数据这些数据不符合任务相关的质量如图1所示S3由EDA生成它缺少一个语言表达式来表达killed和attack之间的因果语义。因此如何使用交互建模数据扩充和目标任务以生成具有任务相关特征的新数据是ECI面临的一个挑战性问题。 Contribution
综上所述本文的贡献如下
我们提出了一个新的可学习的数据扩充框架来解决ECI的数据缺失问题。我们的框架可以通过双重学习来利用识别和生成之间的双重性这种双重学习可以学习为ECI生成任务相关句子我们的知识是可引导和学习的。具体来说我们从KBs中引入因果事件对来初始化对偶生成从而保证生成的因果句的因果关系。我们还采用约束生成结构通过双重交互中的迭代学习逐步生成形式良好的因果句在两个基准上的实验结果表明我们的模型在ECI上取得了最好的性能。此外它也显示出一定的优势比以往的数据扩充方法。
关键词事件因果关系识别ECI数据缺失dual学习框架迭代生成新的示例知识引导双重学习因果事件对 约束生成结构
9. 题目Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data具有小的强地标记和大的弱地标记的数据的命名实体识别
作者江浩明佐治亚理工学院美国佐治亚州亚特兰大
Abstract
弱监督在许多自然语言处理任务中显示出良好的效果如命名实体识别NER。现有的工作主要集中在学习监督力度较弱的deep-NER模型也就是没有任何人工注释并且表明仅通过使用弱标记数据可以获得良好的性能尽管对于手动/强标记数据性能仍然低于完全监督的NER。在本文中我们考虑一个更实际的情况下我们既有少量的强标记数据和大量的弱标记数据。不幸的是我们观察到当我们在强标记和弱标记数据的简单或加权组合上训练deep-NER模型时弱标记数据不一定会改善甚至恶化模型性能由于弱标记中存在大量噪声。为了解决这个问题我们提出了一个新的多阶段计算框架——NEEDLE 它包含三个基本要素1弱标记完成2噪声感知损失函数3强标记数据的最终微调。通过在电子商务查询引擎和生物医学引擎上的实验证明了NEEDLE算法能够有效地抑制弱标签的噪声并优于现有的方法。特别是我们在3个生物医学NER数据集上获得了新的SOTA F1分数BC5CDRchem 93.74BC5CDR疾病90.69NCBIdisease 92.28。
Contribution
我们将我们的主要贡献总结如下
我们确定了一个关于弱监督的重要研究问题在使用强标记和弱标记数据的简单或加权组合训练deep-NER模型时弱标记数据的超大规模加剧了弱标记数据中的广泛噪声并可能显著恶化模型性能。我们提出了一个三阶段的计算框架名为NEEDLE以更好地利用超大弱标记数据的能力。实验结果表明在电子商务查询NER任务和生物医学NER任务中针头显著提高了模型的性能。特别是我们在3个生物医学NER数据集上获得了新的SOTA F1分数BC5CDR化学93.74BC5CDR疾病90.69NCBI疾病92.28。
关键字 弱监督强标记和弱标记组合多阶段计算框架NEEDLE噪声感知损失函数 我们还将建议的框架扩展到多语言设置。
本文是弱监督中数据集是强标记和弱标记组合的。
10. 题目 PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction基于潜在关系和全局对应的联合关系的三重提取
作者郑恒义深圳大学电子信息工程学院深圳大学信息技术中心腾讯贾维斯实验室中国深圳
Abstract
从非结构化文本中联合提取实体和关系是信息提取中的一项重要任务。最近的方法虽然取得了相当好的性能但仍存在一些固有的局限性如关系预测冗余、基于广度的提取泛化能力差以及效率低下。在本文中我们从一个新的角度将该任务分解为三个子任务关系判断、实体提取和主客体对齐然后提出了一个基于潜在关系和全局对应的联合关系三重提取框架PRGC。具体来说我们设计了一个预测潜在关系的组件该组件将以下实体提取约束到预测的关系子集而不是所有关系然后使用特定于关系的序列标记组件来处理主语和宾语之间的重叠问题最后设计了一个全局对应组件将主体和对象对齐成一个低复杂度的三元组。大量实验表明PRGC以更高的效率在公共基准上实现了最先进的性能并在重叠三元组的复杂场景中提供了一致的性能增益。
Introduction
缺点我们回顾了表中的两种端到端方法。对于名为CasRel的多任务方法关系三重提取分两个阶段执行将对象提取应用于所有关系。显然识别关系的方法是冗余的其中包含大量无效操作基于跨度的提取方案只关注实体的开始/结束位置导致泛化能力差。同时由于其主客体对齐机制它一次只能处理一个主题效率低下且难以部署。对于单级命名为TPLinker的框架为了避免主客体对齐中的曝光偏差它利用了一个相当复杂的解码器导致稀疏标签和低收敛速度而基于跨度的提取的关系冗余和泛化能力差的问题仍然没有解决 Contribution
本文的主要贡献如下
1.我们从一个新的角度处理关系三重提取任务将任务分解为三个子任务关系判断、实体提取和主客体对齐在表1所示的建议范例的基础上对以前的工作进行了比较i关系判断旨在识别句子中的关系ii实体提取旨在提取句子中的所有主语和宾语iii主语-宾语对齐旨在将主语-宾语对对齐为三元组。2.根据我们的观点我们提出了一个新的端到端框架并针对子任务设计了三个组件大大缓解了冗余关系判断的问题基于SPAN的提取泛化能力差主客体对齐效率低。3.我们在几个公共基准上进行了广泛的实验这表明我们的方法达到了最先进的性能特别是对于重叠三元组的复杂场景。进一步的烧蚀研究和分析证实了我们模型中每个组件的有效性。4.除了更高的精度外实验表明与以前的工作相比我们的方法在复杂度、参数数量、浮点运算FLOPs和推理时间方面具有显著的优势。
关键字 非结构化文本三元组主语、关系、宾语多任务学习联合关系三重提取框架预测潜在关系的组件序列标记组件全局对应组件
11. 题目CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation ExtractionCIL用于远程监督关系抽取的对比实例学习框架
作者 陈涛浙江大学、阿里巴巴浙江大学前沿技术联合研究所
Abstract
自从远程监督DS首次被引入关系提取RE任务以来从远程监控DS生成的训练数据中减少噪声的旅程已经开始。在过去的十年中研究人员应用多实例学习MIL框架从许多的句子中找到最可靠的特征。虽然MIL包的模式可以大大降低DS噪声但它不能表示数据集中许多其他有用的句子特征。在许多情况下这些句子特征只能通过额外的句子级人工标注来获得代价很高。因此远程监督RE模型的性能是有界的。在本文中我们超越了典型的MIL框架提出了一种新的对比实例学习CIL框架。具体而言我们将初始MIL视为关系型三重编码器并对每个实例的正对和负对进行约束。实验证明了我们提出的框架的有效性在NYT10、GDS和KBP上比以前的方法有了显著的改进。
Introduction
关系抽取relationextractionRE旨在根据实体的上下文预测实体之间的关系。提取的关系事实可以使各种下游应用程序受益。由于训练数据的数量通常限制了传统的有监督的RE系统因此当前的RE系统通常采用远程监督DS来通过对齐知识库KBs和文本来获取丰富的训练数据。然而这种启发式方法不可避免地会给生成的数据带来一些噪声。成为远程监督关系抽取DSRE的最大挑战。
下图中展示了传统的MIL和改进后的MIL 左侧是经典的MIL框架用在DSRE中 通过将训练实例划分为多个包并使用包作为新的数据单元句子都有相同的KB fact知识库[实体1 实体2 关系] 右侧则是在句子后面添加了注意力机制从嘈杂的数据中形成精确表示的能力MIL框架在bag level训练 无论一个包包含多少实例只有形成的包级别表示可以用于MIL中的进一步培训这是非常低效的。 Contribution
因此本文的主要贡献总结如下
我们讨论了长期存在的MIL框架并指出它不能有效地利用MIL包中的大量实例我们提出了一种新的对比实例学习方法以提高MIL框架下DSRE模型的性能对保留集和人类注释集的评估表明CIL比以前的SOTA模型有显著的改进。
关键词 关系抽取RE远程监督DS被引入DSRE生成数据MIL框架 去除噪音Beyond MIL的对比实例学习CIL框架 关系三重编码器约束正负对有效利用
补1. bag-level bag of words 词袋模型我们将一个文档转化为多个词的结合 同时一个bag就表示的是一种确切的关系类型 比如两个实体之间就是出生地的关系 链接地址
远程监督 该算法的核心思想是将文本与大规模知识图谱进行实体对齐利用知识图谱已有的实体间关系对文本进行标注。远程监督基于的基本假设是如果从知识图谱中可获取三元组RE1E2注R代表关系E1、E2代表两个实体且E1和E2共现与句子S中则S表达了E1和E2间的关系R标注为训练正例
12. 题目SENT: Sentence-level Distant Relation Extraction via Negative TrainingSENT通过否定训练提取句子级距离关系
作者 马硕天复旦大学计算机学院中国上海贵涛复旦大学现代语言与语言学研究所中国上海
Abstract
关系提取的远程监控为包内的每个句子提供统一的包标签bag labels 而精确的句子标签对于需要精确关系类型的下游应用程序非常重要。直接使用袋子标签进行句子级训练将引入大量噪声从而严重降低性能。在这项工作中我们建议使用消极训练NT其中一个模型使用互补标签进行训练即“实例不属于这些互补标签”。由于选择真实标签作为补充标签的概率较低NT提供的噪声信息较少。此外使用NT训练的模型能够将噪声数据从训练数据中分离出来。在NT的基础上我们提出了一个句子级框架SENT用于远距离关系提取。SENT不仅过滤噪声数据以构建更干净的数据集还执行重新标记过程以将噪声数据转换为有用的训练数据从而进一步提高模型的性能。实验结果表明该方法在句子级评价和去噪效果上明显优于以往的方法。
Introduction
在MIL中训练和测试过程在bag-level执行其中包包含提及相同实体对但可能不描述相同关系的嘈杂语句。使用MIL的研究可大致分为两类1利用软权重区分每个句子影响的软去噪方法2 硬去噪方法从袋子中去除嘈杂的句子。
Bag-level labels存在的缺点 bag-level labels中存在两种类型的噪音1Multi-label noise每个句子的确切标签“出生地”或“雇员”不清楚2 Wrong-label noise包内的第三句话实际上表示“入住”但不包括在包标签中。 Contribution
为了总结这项工作的贡献
我们建议对句子级的DSRE使用消极训练这大大保护了模型免受噪声信息的影响我们提出了一个句子级框架SENT其中包括一个噪音过滤和一个重新定义远距离数据的重新标记策略与以往的方法相比该方法在再利用性能和去噪效果方面都有了显著的改进。
关键词 包标签消极训练NT句子级框架SENT噪声数据重新标记
13. 题目A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition基于Span的为了处理重叠和不连续命名实体识别的模型
作者 李飞中国武汉大学网络科学与工程学院航天信息安全与可信计算教育部重点实验室 季东红中国天津大学新媒体与传播学院 代码
Abstract
重叠和不连续命名实体识别的研究越来越受到人们的关注。以前的大多数工作都集中在重叠或不连续的实体上。在本文中我们提出了一种新的基于跨度的模型可以同时识别重叠实体和不连续实体。该模型包括两个主要步骤。首先通过遍历所有可能的文本跨度来识别实体片段因此可以识别重叠的实体。其次我们执行关系分类来判断给定的一对实体片段是重叠的还是连续的。这样我们不仅可以识别不连续的实体而且可以对重叠的实体进行双重检查。总体而言我们的模型本质上可以看作是一种关系抽取范式。在多个基准数据集上的实验结果CLEF、GENIA和ACE05表明我们的模型对于重叠和不连续的NER具有很强的竞争力。
Introduction
NER是NLP中的一项基本任务因为它在信息提取和数据挖掘中有广泛的应用。传统上NER是作为序列标记问题sequence labeling提出的并由基于条件随机场CRF模型解决但是不能处理重叠和不连续的实体。
例说明序列标记模型和基于跨度的模型之间的差异。在左边标有相同编号的单词片段属于同一实体。在右侧蓝色矩形表示已识别的实体片段实线表示它们之间的连续或重叠关系这两种关系相互排斥。 关键字 重叠和不连续的命名实体识别 重叠的实体不连续的实体序列标记问题CRF基于跨度的模型文本跨度双重检查 实体片段识别片段关系预测
14. 题目Capturing Event Argument Interaction via A Bi-Directional Entity-Level Recurrent Decoder通过双向实体级循环解码器捕获事件参数交互
作者于喜祥北京大学软件工程国家工程研究中心 代码
Abstract
捕获事件参数之间的交互是实现健壮的事件参数提取EAE的关键步骤。然而现有的这方面的研究有两个局限性1上下文实体的参数角色类型信息主要用作训练信号忽略了直接将其作为语义丰富的输入特征的潜在优点2 参数级别的顺序语义意味着参数角色在事件提及上的总体分布模式但没有很好地描述。为了解决上述两个瓶颈我们首次将EAE形式化为类似Seq2Seq的学习问题其中带有特定事件触发器的句子映射到一系列事件参数角色。提出了一种具有新的双方向的实体级别的重复解码器BERD的神经结构通过结合上下文实体的参数角色预测如逐字文本生成过程来生成参数角色从而更准确地区分事件中的隐式参数分布模式。
Introduction
EAE事件参数提取EAE是事件提取EE的关键步骤其目的是识别作为事件参数的实体并对它们在事件中扮演的角色进行分类。 例如鉴于“在巴格达一名摄影师在美国坦克向巴勒斯坦酒店开火时死亡”一句中的“开火”一词触发了袭击事件EAE需要确定“巴格达”、“摄影师”、“美国坦克”和“巴勒斯坦酒店”是与地点、目标、工具的争论和目标分别作为角色。 关于EAE有两种范式深度学习被广泛使用。本文中的第一个称为事件间参数交互集中于在其他事件实例的上下文中挖掘目标实体候选参数的信息比如在同一句话中受害者对死亡事件的论点通常是攻击事件的目标论点的证据。 第二种是事件内参数交互它利用目标实体与同一事件实例中其他实体的关系。本文重点讨论第二种范式。尽管已有的捕获事件内参数交互的方法取得了令人满意的结果但它们存在两个瓶颈。
Contribution
本文的贡献在于
1.首次将事件参数提取任务形式化为一个类似Seq2Seq的学习问题其中具有特定事件触发器的句子映射到一系列事件参数角色。2.我们提出了一种具有双向实体级循环解码器BERD的新型架构该架构能够利用左侧和右侧上下文实体的参数角色预测并区分参数角色的总体分布模式。3.大量的实验结果表明在广泛使用的ACE 2005数据集上我们提出的方法优于几个有竞争力的基线。如果一句话中有更多的实体BERD的优势就更为显著。
关键字 事件参数提取 参数角色顺序语义Seq2Seq双方向的实体级别的重复解码器深度学习事件间参数交互 事件内参数交互
Seq2SeqSeq2Seq是encoder和decoder结构的 主要用在机器翻译上
15. 题目Subsequence Based Deep Active Learningfor Named Entity Recognition基于子序列的深度主动学习的命名实体识别
作者 Puria Radmard伦敦大学学院、剑桥大学、Vector AI 代码 https://github.com/puria-radmard/RFL-SBDALNER
Abstract
主动学习AL已成功应用于深度学习以大幅减少实现高性能所需的数据量。以前的工作表明用于命名实体识别NER的轻量级体系结构仅需25%的原始训练数据就可以实现最佳性能。然而这些方法没有利用语言的顺序性和每个实例中不确定性的异质性需要对整个句子进行标记。此外此标准方法要求注释者在标记时可以访问完整的句子。在这项工作中我们通过允许AL算法查询句子中的子序列并将它们的标签传播到其他句子来克服这些限制。我们在OnNotes5.0上实现了高效的结果只需要原始训练数据的13%而Conll2003只需要27%。与查询完整句子相比这分别提高了39%和37%。
Introduction
在NLP中数据集是很重要的但是标记的成本太高一般人消受不起 因此我们提出了主动学习主动学习策略旨在通过自动识别大量未标记的数据中的最佳训练示例来有效地训练模型这大大减少了人工注释的工作量因为需要手动标记的实例要少得多。
Contribution
本文的主要贡献有
1.通过允许查询完整句子的子序列提高了AL-for-NER的效率2.基于实体的分析表明子序列查询策略倾向于查询更多相关令牌也就是属于实体的代币3.对完整句子和子序列查询方法进行的查询的不确定性分析表明查询完整句子会导致选择更多模型已经确定的标记。
关键词 主动学习AL 语言的顺序性 访问完整的句子 子序列 传播
16. 题目Modularized Interaction Network for Named Entity Recognition用于命名实体识别的模块化交互网络
作者 李飞中国北京理工大学、王铮新加坡南洋理工大学 代码
Abstract
现有的命名实体识别NER模型虽然取得了良好的性能但也存在一定的缺陷。基于序列标记的NER模型在识别长实体方面表现不佳因为它们只关注单词级信息而基于段的NER模型关注处理段而不是单个单词无法捕获段内的单词级依赖关系。此外由于边界检测和类型预测可能会在NER任务中相互协作因此这两个子任务通过共享其信息来相互加强也很重要。在本文中我们提出了一种新的模块化交互网络MIN模型该模型利用了段级信息和词级依赖并结合了一种交互机制来支持边界检测和类型预测之间的信息共享以提高NER任务的性能。我们基于三个NER基准数据集进行了广泛的实验。性能结果表明所提出的MIN模型优于目前最先进的模型。
Introduction
命名实体识别NER是自然语言处理NLP中的一项基本任务它旨在发现和分类文本中命名实体的类型如人员PER、位置LOC或组织ORG。它已广泛用于许多下游应用如关系提取、实体链接、问题生成和共指消解。 目前NER任务有两种类型的方法。第一种是基于序列标记的方法其中一个句子中的每个单词都有一个特殊的标签比如有GB-PER或IPER。这种方法可以捕获相邻单词级标签之间的依赖关系并在整个句子中最大化预测标签的概率。然而NER是一项段级识别任务。因此仅关注单词级信息的基于序列标签的模型在识别长实体方面表现不佳。最近基于分段的方法因NER任务而广受欢迎。它们处理段也就是多个单词的跨度而不是单个词作为基本单位并指定一个特殊的标签发送至各分部。由于这些方法采用段级处理因此它们能够识别长实体。但是段中的字级依赖关系通常被忽略。
Contribution
综上所述本文的主要贡献包括
我们提出了一种新的模块化交互网络MIN模型该模型利用基于段的模型的段级信息和基于序列标记的模型的词级依赖性以提高NER任务的性能所提出的MIN模型由NER模块、边界模块、类型模块和交互机制组成。我们建议将边界检测和类型预测分为两个子任务并结合交互机制以实现两个子任务之间的信息共享从而实现最先进的性能我们在三个NER基准数据集即CoNLL2003、WNUT2017和JNLPBA上进行了大量实验以评估所提出的MIN模型的性能。实验结果表明我们的MIN模型达到了最先进的性能优于现有的基于神经网络的NER模型
关键字 序列标记的NER长实体基于段的NER单词间的依赖关系边界检测和类型预测相互协作模块化交互网络 文章转载自： http://www.morning.yzygj.cn.gov.cn.yzygj.cn http://www.morning.qstjr.cn.gov.cn.qstjr.cn http://www.morning.zdnrb.cn.gov.cn.zdnrb.cn http://www.morning.ktmbr.cn.gov.cn.ktmbr.cn http://www.morning.ffcsr.cn.gov.cn.ffcsr.cn http://www.morning.mnclk.cn.gov.cn.mnclk.cn http://www.morning.tpnxj.cn.gov.cn.tpnxj.cn http://www.morning.dpsgq.cn.gov.cn.dpsgq.cn http://www.morning.deanzhu.com.gov.cn.deanzhu.com http://www.morning.xwbwm.cn.gov.cn.xwbwm.cn http://www.morning.mtgnd.cn.gov.cn.mtgnd.cn http://www.morning.bpmtl.cn.gov.cn.bpmtl.cn http://www.morning.hlxpz.cn.gov.cn.hlxpz.cn http://www.morning.fhtbk.cn.gov.cn.fhtbk.cn http://www.morning.hrpbq.cn.gov.cn.hrpbq.cn http://www.morning.ppgdp.cn.gov.cn.ppgdp.cn http://www.morning.pdbgm.cn.gov.cn.pdbgm.cn http://www.morning.kdtdh.cn.gov.cn.kdtdh.cn http://www.morning.glrzr.cn.gov.cn.glrzr.cn http://www.morning.kgxrq.cn.gov.cn.kgxrq.cn http://www.morning.qfzjn.cn.gov.cn.qfzjn.cn http://www.morning.frsbf.cn.gov.cn.frsbf.cn http://www.morning.nmfxs.cn.gov.cn.nmfxs.cn http://www.morning.qkwxp.cn.gov.cn.qkwxp.cn http://www.morning.bhrkx.cn.gov.cn.bhrkx.cn http://www.morning.lpgw.cn.gov.cn.lpgw.cn http://www.morning.tllhz.cn.gov.cn.tllhz.cn http://www.morning.beiyishengxin.cn.gov.cn.beiyishengxin.cn http://www.morning.qczjc.cn.gov.cn.qczjc.cn http://www.morning.lqchz.cn.gov.cn.lqchz.cn http://www.morning.tkyry.cn.gov.cn.tkyry.cn http://www.morning.lrmts.cn.gov.cn.lrmts.cn http://www.morning.tlpgp.cn.gov.cn.tlpgp.cn http://www.morning.mhsmj.cn.gov.cn.mhsmj.cn http://www.morning.hphfy.cn.gov.cn.hphfy.cn http://www.morning.fcpjq.cn.gov.cn.fcpjq.cn http://www.morning.nlcw.cn.gov.cn.nlcw.cn http://www.morning.hsdhr.cn.gov.cn.hsdhr.cn http://www.morning.ykxnp.cn.gov.cn.ykxnp.cn http://www.morning.wspyb.cn.gov.cn.wspyb.cn http://www.morning.jncxr.cn.gov.cn.jncxr.cn http://www.morning.prmbb.cn.gov.cn.prmbb.cn http://www.morning.mygbt.cn.gov.cn.mygbt.cn http://www.morning.plqqn.cn.gov.cn.plqqn.cn http://www.morning.ltxgk.cn.gov.cn.ltxgk.cn http://www.morning.jbkcs.cn.gov.cn.jbkcs.cn http://www.morning.qnbck.cn.gov.cn.qnbck.cn http://www.morning.qggcc.cn.gov.cn.qggcc.cn http://www.morning.kuaijili.cn.gov.cn.kuaijili.cn http://www.morning.bauul.com.gov.cn.bauul.com http://www.morning.chbcj.cn.gov.cn.chbcj.cn http://www.morning.lpgw.cn.gov.cn.lpgw.cn http://www.morning.qdscb.cn.gov.cn.qdscb.cn http://www.morning.cwwbm.cn.gov.cn.cwwbm.cn http://www.morning.nqlkb.cn.gov.cn.nqlkb.cn http://www.morning.nbwyk.cn.gov.cn.nbwyk.cn http://www.morning.njqpg.cn.gov.cn.njqpg.cn http://www.morning.hdzty.cn.gov.cn.hdzty.cn http://www.morning.lywys.cn.gov.cn.lywys.cn http://www.morning.nhlnh.cn.gov.cn.nhlnh.cn http://www.morning.lmrjn.cn.gov.cn.lmrjn.cn http://www.morning.xmjzn.cn.gov.cn.xmjzn.cn http://www.morning.lmqfq.cn.gov.cn.lmqfq.cn http://www.morning.zlnkq.cn.gov.cn.zlnkq.cn http://www.morning.gbkkt.cn.gov.cn.gbkkt.cn http://www.morning.abgy8.com.gov.cn.abgy8.com http://www.morning.dbphz.cn.gov.cn.dbphz.cn http://www.morning.jglqn.cn.gov.cn.jglqn.cn http://www.morning.prqdr.cn.gov.cn.prqdr.cn http://www.morning.bfrff.cn.gov.cn.bfrff.cn http://www.morning.hbnwr.cn.gov.cn.hbnwr.cn http://www.morning.xhddb.cn.gov.cn.xhddb.cn http://www.morning.rsbqq.cn.gov.cn.rsbqq.cn http://www.morning.wnmdt.cn.gov.cn.wnmdt.cn http://www.morning.ppgdp.cn.gov.cn.ppgdp.cn http://www.morning.ntqnt.cn.gov.cn.ntqnt.cn http://www.morning.rywr.cn.gov.cn.rywr.cn http://www.morning.grryh.cn.gov.cn.grryh.cn http://www.morning.fglth.cn.gov.cn.fglth.cn http://www.morning.c7496.cn.gov.cn.c7496.cn
