怎么免费给网站做收录,计算机软件工程师证怎么考,wordpress奇客影院,图片类网站建设前言
对本博客比较熟悉的朋友知道#xff0c;我司论文项目组正在基于大模型做论文的审稿(含CS英文论文审稿、和金融中文论文审稿)、翻译#xff0c;且除了审稿翻译之外#xff0c;我们还将继续做润色/修订、idea提炼(包含论文检索)#xff0c;是一个大的系统#xff0c;包…前言
对本博客比较熟悉的朋友知道我司论文项目组正在基于大模型做论文的审稿(含CS英文论文审稿、和金融中文论文审稿)、翻译且除了审稿翻译之外我们还将继续做润色/修订、idea提炼(包含论文检索)是一个大的系统包含完整的链路
由于论文项目组已壮大到18人故目前在并行多个事且我也针对idea提炼做一下技术探索本文解析关于idea提炼的两篇论文
我司论文项目组三太子在内部18人大群里4.14发的这篇ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Mode// 待定 第一部分 ResearchAgent 围绕论文和引用提炼idea
1.1 从ResearchAgent到ReviewingAgentidea的生成与其迭代
考虑到LLMs可以处理和分析大量的文献资料并以超越人类能力的速度和规模处理数据还可以识别人类研究者可能立即无法察觉的模式、趋势和相关性从而使LLM能够发现原本未被发现的新的研究机会。 此外LLM还可以通过进行实验和解释结果来协助实验验证从而显着加快研究周期
近日来自韩国的一研究团队便基于LLM做了相关尝试即研究思路生成其中包括问题识别、方法开发和实验设计(research idea generation, which involves problem identification, method development, and experiment design) 那基于LLM如何提炼idea呢其实和科研人设计idea的过程差不太多比如首要的第一步便是阅读大量相关领域的paper然后提炼出一个逐步的idea最后针对这个初步的idea反复自我审视及让同行给予反馈、评价以不断完善该idea
换言之只阅读某篇论文及其对应的参考文献从而根据references and citation relationship提炼idea可能不太够
首先构建一个知识存储从科学文章中找到并聚合实体共现。 这个以实体为中心的知识存储捕捉了不同实体之间的相互关联性并通过潜在的概念和原则为其检索到的知识提供了有价值的见解我们将展示这些见解对我们的问题非常有价值。此外为了通过迭代改进增强生成的研究创意我们设计了多个审查代理每个代理都对开发的创意生成评论和反馈具有自己的评估标准
1.1.1 ResearchAgent的流程基于LLM确定问题、方法、实验
为了完成上述步骤现有的文献(例如学术出版物)被用作主要来源提供关于现有知识以及差距和未解答问题的见解
形式上设为文献 为由问题、方法和实验设计组成的想法表示如下其中每个项目由一系列tokens组成表示连接操作
然后idea生成模型 可以表示如下进一步分解为三个子模块步骤
用于确定问题用于开发方法以及用于设计实验
在这项工作中依赖LLMs来操作 f利用它们理解和生成学术文本的能力(we operationalize f with LLMs, leveraging their capability to understand and generate academic text)具体而言
LLM接受一个输入token序列 x并生成一个输出token序列 y表示为其中 是模型参数在训练后固定不变(毕竟进一步微调的成本很高) 是提示模板(prompt template)是一个结构化的格式概述了上下文(包括任务描述和指示)以指导模型生成所需的输出
从而上述三个子模块便变成了
确定问题确定方法确定实验
对于 LLM我们通过提供一篇核心论文从开始然后根据citation graph选择性地纳入后续论文这些论文与核心论文直接相关从而使得用于生成研究想法的 LLM输入更加可管理和连贯「we initiate its literature review process by providing a core paper l0 from L and then selectively incorporating subsequent papers {l1, ..., ln} that are directly related to it based on a citation graph」
对于核心论文及其相关引文(relevant citations)的选择
核心论文基于其引用计数进行选择(例如在3个月内超过100次)通常表示具有高影响力其相关论文(可能非常多)根据其摘要与核心论文的相似性进一步缩小范围确保得到更加专注和相关的相关paper集合
1.1.2 ResearchAgent的增强通过实体链接方法提取术语数据库
然后核心论文及其引用的数量毕竟有限所能带来的上下文知识范围过于局限而使得无法提出更好的idea
好在我们可以使用现有的现成实体链接方法(实体链接是一个将文本中的不同实体识别并映射到知识库中实体的过程)在任何论文中提取术语数据库(term database)并将这些链接的出现聚合到一个知识库中 we can easily extract the term database whenever it appears in any paper, using existing off-the-shelf entity linking methods and then aggregate these linked occurrences into a knowledge store.然后如果术语数据库在医学科学领域中普遍存在但在血液学(医学科学的一个子领域)中不太常见构建的知识库基于除数据库之外的重叠实体捕捉了这两个领域之间的相关性然后便可在制定有关血液学的想法时提供术语数据库Then, if the term database is prevalent with in the realm of medical science but less so in hematology (which is a subdomain of medical science), the constructed knowledge store captures the relevance between those two domains based on overlapping entities (other than the database) and then offers the term database when formulating the ideas about hematology. 换句话说这种方法通过利用各个领域之间的相互关联性能够提供新颖和跨学科的见解In other words, this approach enables providing novel and interdisciplinary insights by leveraging the interconnectedness of entities across various field
具体的执行步骤为
将知识存储设计为一个二维矩阵其中 是已识别的唯一实体的总数而以稀疏格式实现 这个知识存储是通过从所有可用的科学文献(由于无法提取所有可用文章中的实体故这里的目标是针对2023年5月1日之后出现的论文)中提取实体构建的它不仅计算了个别论文中实体对的共现次数还量化了每个实体的计数 此外为了操作化实体提取我们使用了现有的实体链接器 EL(Scalable zeroshot entity linking with dense entity retrieval)它在特定论文从中标记和规范化实体形式化如下 其中表示出现在中的实体的多重集(允许重复) 在提取实体后为了将它们存储到知识存储中我们考虑了所有可能的对表示如下 其中然后将其记录到 中鉴于这个知识库下一个目标是基于一组相互连接的论文增强基于语言模型的研究想法生成过程(Given this knowledge store K, our next goal is to enhance the vanilla research idea generation process based on a group of inter connected paper)表示如下 使得我们可以通过“知识库中的相关实体”这个额外的知识来源来扩展LLM的上下文知识。 换句话说这些知识在当前的论文组中没有出现但与之相关在中基于实体(共现)信息进行识别(this knowledge is not seen in the current group of papers but is relevant to it, identified based on entity (co-)occurrence information stored in K)形式上定义从相互连接的论文组中提取的实体如下 因此检索前k个相关外部实体的概率形式可以表示如下 其中且。此外为了简化起见通过应用贝叶斯规则并假 设实体是独立的上面的检索前k个相关外部实体的操作可以近似表示如下 其中和可以从二维中的值中推导出来适当进行归一化最终使用相关实体为中心的知识增强的研究提案生成实例 表示如下
总之将这种知识增强的LLM驱动的思路生成方法称为ResearchAgent下面的三个图中(点击对应图片即可放大查看) 左图通过ResearchAgent提出问题大意是我将提供目标论文、相关论文和实体如下所示 目标论文标题{paper[title]} 目标论文摘要{paper[abstract]} 相关论文标题{relatedPaper[titles]} 相关论文摘要{relatedPaper[abstracts]} 实体{Entities} 有了提供的目标论文、相关论文和实体你现在的目标是制定一个研究问题不仅建立在这些现有研究的基础上而且要具有原创性、清晰性、可行性、相关性和重要性。 在制定研究问题之前重新审视目标论文的标题和摘要确保它仍然是你研究问题识别过程的焦点。 目标论文标题{paper[title]} 目标论文摘要{paper[abstract]} 然后在您对上述内容进行审查后请按照以下格式生成一个带有理论基础的研究问题 研究问题 理论基础中图通过ResearchAgent生成方法大意是我将提供研究问题、现有研究目标论文和相关论文以及实体如下所示 研究问题{researchProblem} 基本原理{researchProblemRationale} 目标论文标题{paper[’title’]} 目标论文摘要{paper[’abstract’]} 相关论文标题{relatedPaper[’titles’]} 相关论文摘要{relatedPaper[’abstracts’]} 实体{Entities} 根据提供的研究问题、现有研究和实体你的目标是制定一种方法不仅利用这些资源而且力求清晰、创新、严谨、有效和可推广。 在制定方法之前重新审视研究问题确保它仍然是你方法开发过程的焦点。 研究问题{researchProblem} 理论基础{researchProblemRationale} 然后在审查上述内容后请按照以下格式提出你的方法及其理论基础 方法 理论基础右图通过ResearchAgent生成实验设计大意是我将提供研究问题、科学方法、现有研究目标论文和相关论文和实体如下所示 研究问题{researchProblem} 基本原理{researchProblemRationale} 科学方法{scientificMethod} 基本原理{scientificMethodRationale} 目标论文标题{paper[’title’]} 目标论文摘要{paper[’abstract’]} 相关论文标题{relatedPaper[’titles’]} 相关论文摘要{relatedPaper[’abstracts’]} 实体{Entities} 根据提供的研究问题、科学方法、现有研究和实体你的目标是设计一个实验不仅利用这些资源而且力求清晰、健壮、可重复、有效和可行。 在制定实验设计之前重新审视研究问题和提出的方法确保它们仍然是实验设计过程的核心。 研究问题{researchProblem} 理论基础{researchProblemRationale} 科学方法{scientificMethod} 理论基础{scientificMethodRationale} 然后在审查上述内容后请按照实验的格式和理论基础概述你的实验及其理论基础 实验设计 理论基础
1.1.3 ReviewingAgent给反馈通过与人类偏好对齐的LLM Agents迭代研究思路
当拿到初步的idea之后(包括其对应的问题、方法、实验设计)ReviewingAgents还会根据特定的标准提供review和反馈以验证生成的研究思路
具体而言类似于我们使用LLM和模板T实例化ResearchAgent的方法ReviewingAgents也是类似地实例化但使用不同的模板如下面的三个图所示分别涉及
对ResearchAgent所提出问题的评价现有研究目标论文和相关论文如下 目标论文标题{paper[title]} 目标论文摘要{paper[abstract]} 相关论文标题{relatedPaper[titles]} 相关论文摘要{relatedPaper[abstracts]} 现在按照系统的方式进行您的{指标}评估方法- 首先彻底阅读研究问题及其基本原理牢记上述现有研究提供的背景信息。 - 接下来生成一篇评论和反馈应该是建设性的、有帮助的和简明的重点关注问题的{指标}。 - 最后使用5分Likert量表给出一个评分1表示最低请确保进行有鉴别力和批判性的评估避免倾向于统一高分4-5除非完全有理由{标准} 我将提供研究问题及其理论基础如下所示 研究问题{研究问题} 理论基础{研究问题理论基础} 在您评估上述内容之后请以以下格式提供您的评论、反馈和评分 反馈 评分1-5ResearchAgent所提出方法的评价研究问题和现有研究目标论文和相关论文如下 研究问题{researchProblem} 理由{researchProblemRationale} 目标论文标题{paper[’title’]} 目标论文摘要{paper[’abstract’]} 相关论文标题{relatedPaper[’titles’]} 相关论文摘要{relatedPaper[’abstracts’]} 现在继续你的{度量}评估方法应该是系统的- 首先彻底阅读提出的方法及其基本原理牢记研究问题所提供的背景和上述现有研究。 - 接下来生成一个评论和反馈应该是建设性的、有帮助的和简洁的重点关注方法的{度量}。 - 最后使用5分Likert量表给出一个评分1表示最低请确保进行有鉴别力和批判性的评估避免倾向于统一高分4-5除非完全有理由{标准} 我将提供以下关于提出的方法及其基本原理的信息 科学方法{科学方法} 基本原理{科学方法基本原理} 在您评估上述内容之后请以以下格式提供您的评论、反馈和评分 反馈 评分1-5所提出的实验设计的评价 研究问题、科学方法和现有研究目标论文和相关论文如下所示 研究问题{researchProblem} 理由{researchProblemRationale} 科学方法{scientificMethod} 理由{scientificMethodRationale} 目标论文标题{paper[title]} 目标论文摘要{paper[abstract]} 相关论文标题{relatedPaper[titles]} 相关论文摘要{relatedPaper[abstracts]} 现在继续你的{度量}评估方法应该是系统的- 首先彻底阅读实验设计及其基本原理牢记研究问题、科学方法和上述现有研究所提供的背景。 - 接下来生成一个评论和反馈应该是建设性的、有帮助的和简明扼要的重点关注 实验的{度量}。 - 最后使用5分Likert量表给出一个评分1表示最低请确保进行有鉴别力和批判性的评估避免倾向于统一高分4-5除非完全有理由{标准} 我将提供设计好的实验及其基本原理如下所示 实验设计{实验设计} 基本原理{实验设计基本原理} 在您评估上述内容之后请以以下格式提供您的评论、反馈和评分 反馈 评分1-5
然后使用ReviewingAgents根据其各自的五个特定标准对生成的研究思路(问题、方法和实验设计)进行单独评估这些标准如下图所示 最后根据ReviewingAgents的审查和反馈ResearchAgent进一步更新已生成的研究思路 值得一提的是为了获得与人类对齐的评估标准作者团队收集了每个评估标准上至少有3篇论文的人类研究人员对10对research idea及其分数(on a 5-point Likert scale)的标注「we first collect 10 pairs of the research idea and its score (on a 5-point Likert scale annotated by human researchers with at least 3 papers) on every evaluation criterion」 换言之与基于模型的评估类似进行人工评估涉及为每个标准分配分数并在10位专家注释者之间进行两两比较Similar to model-based eval-uations, we perform human evaluations that involve assigning a score for each criterion and conduct-ing pairwise comparisons between two ideas, with 10 expert annotators 且选择至少撰写了三篇论文的注释者并要求他们评判从他们自己的论文中生成的想法Thus, we choose annotators who have authored at least three papers and ask them to judge ideas that are generated from their own paper相当于在每个标准上都会有三篇论文然后由10个人类专家来针对论文提炼出来的问题(总计5个标准每个标准上3篇论文每篇论文10个分数)、方法、实验设计进行打分 1.2 实验部分
1.2.1 数据
生成研究思路的主要来源是科学文献 L具体而言
首先从Semantic Scholar Academic Graph API(https://www.semanticscholar.org/product/api)获取且选择在2024年5月1日之后出版的论文然后我们选择具有超过20次引用的高影响力论文作为核心论文以确保生成的思路具有高质量这与人类研究人员倾向于利用有影响力的工作相一致我们进一步随机抽取300篇论文作为核心论文(以获得一个合理大小的基准数据集)这意味着我们随后为每个模型生成和评估300个研究思路 其中每篇核心论文的平均参考文献数量为87每篇论文的摘要平均有2.17个实体
所有论文的学科分布如下图所示 1.2.2 几个对比标准与评估方法
由于我们的目标是研究思路的生成因此没有直接可供比较的基线。 因此完整的ResearchAgent模型与以下削弱版本进行比较
Naive ResearchAgent- 仅使用核心论文生成研究思路没有实体检索的ResearchAgent- 使用核心论文及其相关参考文献但不考虑实体ResearchAgent- 完整模型使用相关参考文献和实体以及核心论文以增强语言模型
基于模型的评估根据最近在使用LLMs评判输出文本质量方面的趋势(尤其是在无参考评估设置中)我们使用GPT-4来评判研究思路的质量
我们注意到每个问题、方法和实验设计都使用五个不同的标准进行评估 然后我们要求评估模型对每个标准上生成的思路进行on a 5-point Likert scale的评分或者在不同模型的两个思路之间进行两两比较
// 待更
