当前位置：首页 > news >正文

衡水林熠网站建设公司wordpress 两个搜索框

news 2025/11/4 21:03:30

衡水林熠网站建设公司,wordpress 两个搜索框,怎样让自己的网站被收录,小程序怎样制作摘要大规模语言模型的出现是提高病人护理质量和临床操作效率的一个重大突破。大规模语言模型拥有数百亿个参数#xff0c;通过海量文本数据训练而成#xff0c;能够生成类似人类的反应并执行复杂的任务。这在改进临床文档、提高诊断准确性和管理病人护理方面显示出巨大的潜…摘要大规模语言模型的出现是提高病人护理质量和临床操作效率的一个重大突破。大规模语言模型拥有数百亿个参数通过海量文本数据训练而成能够生成类似人类的反应并执行复杂的任务。这在改进临床文档、提高诊断准确性和管理病人护理方面显示出巨大的潜力。然而像 ChatGPT 和 GPT-4 这样的大规模语言模型是封闭的很难针对医疗保健领域所需的特定情况进行定制。为解决这一问题近年来开发了开源大规模语言模型。开源大规模语言模型是一种很有前景的解决方案它提供了无限的访问权限并可根据医疗保健领域的特定需求灵活定制。例如LLaMA 模型是通用领域开源大规模语言模型的佼佼者具有最先进的功能。但是由于这些模型主要是在通用领域数据的基础上进行训练的因此缺乏准确可靠的医疗应用所需的专业知识。为了弥补这些不足目前正在开发专门用于医疗保健的开源大规模语言模型通过生物医学数据对其进行增强。然而现有的研究如 PMC-LaMA 和 Meditron主要集中在生物医学领域而且只评估问题解答QA任务。只有 GatorTronGPT 和 Clinical-LaMA 是例外。然而由于缺乏教学协调以及模型和数据规模的限制GatorTronGPT并未在各种临床环境中充分利用大规模语言模型而 Clinical-LaMA 对临床文本的先验学习也很有限。此外它还存在灾难性遗忘问题即在整合新的医疗数据时先前的知识会受到影响。为了应对这些挑战本文开发了一种新的大规模医学语言模型Me-LaMA该模型可持续预训练 LLaMA2 模型、调整指令并纳入丰富的生物医学和临床数据。这为研究医疗保健领域的大规模语言模型提供了一个全面的数据集其中还包括一个大型预训练数据集、一个教学协调数据集和一个新的医疗评估基准 (MIBE)。在使用 MIBE 进行的评估中Me-LaMA 模型在零射、四射和监督学习方面的表现优于现有的开源大规模医学语言模型。通过针对特定任务的指令调整Me-LaMA 模型在许多数据集上的表现优于 ChatGPT 和 GPT-4。技术 Me-LaMA 是通过对 LLaMA2 的持续预研究和教学调整开发出来的。该过程包括 129B 标记样本和 214K 指示性研究其中包括一般、生物医学和临床数据。为使 LLaMA2 模型适用于医疗领域我们创建了一个混合连续预训练数据集。该数据集包含 129B 标记由生物医学文献、临床笔记和一般领域数据组成。这平衡了特定领域知识与广泛的上下文理解减少了灾难性遗忘。生物医学文献它包含大量从 PubMed Central 和 PubMed Abstracts 收集的生物医学文献。临床说明使用 MIMIC-III、MIMIC-IV 和 MIMIC-CXR 中的匿名自由文本临床笔记来反映真实的临床场景和推理。一般部门数据为防止灾难性遗忘我们重现了 LLaMA 研究前的数据包括 RedPajama 数据集的一个子集。生物医学、临床和一般领域数据的比例为 15:1:4重点放在医学领域但也纳入了一般知识。此外我们还在开发一个新的医疗适应症调整数据集以提高模型遵从指令的能力并将其推广到各种医疗任务中。该数据集包含各种数据源包括生物医学文献、临床笔记、临床指南、wikidoc、知识图谱和一般现场数据。数据集中的各种任务旨在完善模型准确处理和响应医疗信息的能力。最终数据集包含 214,595 个高质量样本噪声如空输入和响应已被去除。此外医学领域的现有研究主要集中于质量保证任务的评估而本文则引入了一个新的广泛评估基准涵盖六项任务即质量保证、独特表达提取NER、关系提取RE、分类CF、文本摘要TS和自然语言推理NLI。这些任务是这些任务包括从生物医学和临床领域精心挑选的 12 个数据集提供了广泛的评估范围。我们还包括一般领域的质量保证数据 MMLU以评估遗忘一般领域知识的问题。该模型还在两种评估环境中进行了评估情境学习零拍和四拍学习和监督学习并与基线模型进行了比较以评估其在不同任务中的性能和泛化能力。实验结果下表比较了 Me-LaMA 聊天模型和基线模型在各种 MIBE 任务中的零点性能。比较对象包括具有教学微调功能的大型语言模型以提高遵从指令的能力如 LLaMA2 聊天模型。在具有 13B 参数的模型中Me-LaMA 13B-chat 在几乎所有 12 个数据集中的表现都优于 LLaMA2 13B-chat 、PMC-LaMA-chat 和 Medalpaca 13B。唯一的例外是临床问答QA数据集 EmrQA其准确率略有下降。此外在 12 个数据集中Me-LaMA 在 9 个数据集中的表现优于 AlpaCare-13B。在具有 70B 参数的模型中Me-LaMA 70B-chat 在所有 12 个数据集中的表现始终优于 Meditron 70B在 11 个数据集中优于 LLaMA2-70B-chat。特别是在 PubMedQA 数据集中Me-LaMA 70B-chat 的准确率比 LLaMA2-70B-chat 模型高出约 10%Macro-F1 分数高出 8.0%。此外Me-LaMA 13B-chat 在 12 个数据集中的 6 个数据集包括 PubMedQA、MedQA、MedMCQA、2013 DDI、HoC 和 MIMIC-CXR中的表现也优于 LLaMA2-70B-chat其参数大小明显更大。而在另外三个数据集包括 EmrQA、MTsample 和 MedNLI中则具有竞争力。下图还比较了 Meditron 70B 和 Me-LLaMA 模型 Fewshot 的性能Fewshot 是目前最先进的大型医学语言模型。该比较基于 PubMed Rouge-L 分数、三个 QA 数据集的准确度分数以及其他数据集的 F1 分数。由于 Meditron 遵循指令的能力有限因此采用了 Fewshot 进行性能比较对摘要数据集和数据集采用了一次拍摄法而对其他数据集采用了五次拍摄法。结果Me-LaMA 模型在 12 个数据集不包括 PubMedQA中的 11 个数据集上都取得了优异的性能。下表比较了 Me-LaMA 13/70B 基础架构模型与其他开源基础架构大规模语言模型在监督环境下的性能在 12 个数据集中的 11 个数据集上Me-LaMA 13B 模型的性能优于同等规模的医疗基础架构模型 PMC-LaMA 13B、在 10 个数据集不包括 DDI 和 HoC中的表现优于LLaMA2 13B。此外在 12 个数据集中的 8 个数据集PubMedQA、EmrQA、2010 i2b2、MTsample、PubMed、MIMIC-CXR、BioNLI 和 MedNLIMe-LaMA 13B 模型与 LLaMA2 70B和 Meditron70B 相比也具有竞争力。就 70B 模型而言与 LLaMA2 70B 和 Meditron 70B 相比Me-LaMA 70B 在 12 个数据集中的 9 个数据集上取得了最佳性能不包括 MedMCQA、2010 i2b2 和 PubMed。此外下图还比较了 Me-LaMA 模型与 ChatGPT 和 GPT-4 在零拍摄和特定任务教学微调设置下的性能。由于隐私问题向 ChatGPT 和 GPT-4 发送包含患者信息的临床数据集受到限制因此使用了 8 个不受此限制的数据集PubMedQA、MedQA、MedMCQA、HoC、MTsample、PubMed 和 BioNLI、2013 DDI进行比较三个 QA 数据集 ChatGPT 和 GPT-4 的结果参考 OpenAI 论文。比较使用了汇总数据集 PubMed 的 Rouge-127 分数、三个 QA 数据集的准确率分数以及其他数据集的 Macro-F1 分数。通过特定任务指令调整Me-LaMA 模型在八个数据集不包括 PubMed中的七个数据集上的表现优于 ChatGPT在五个数据集PubMedQA、HoC、MTsample、BioNLI 和 2013 DDI上的表现优于 GPT-4。Me-LT 是唯一有 GPT-4 的数据集。在零镜头设置中Me-LaMA 模型在五个数据集PubMedQA、MedQA、MedMCQA、BioNLI 和 2013 DDI中的表现优于 ChatGPT但在七个数据集中的表现不如 GPT-4。此外还研究了连续预训练和指导性调整的影响。下表比较了连续预训练和指导性调整对零点大语言模型性能的影响。具体来说它侧重于 Me-LaMA 13/70B 与其骨干模型 LLaMA2 13/70B 在零镜头设置中的差异展示了持续预习的益处。它还将 Me-LaMA-13/70B-chat 与经过指令调整的聊天优化版 Me-LaMA-13/70B-chat 进行了比较突出了零点场景下指令调整的优势。总之我们可以看到持续的预训练和指导性调整都能显著提高模型的零误差能力。例如与 LLaMA2 13B 模型相比Me-LaMA 13B 模型在各种数据集上的性能提高了 0.5% 到 13.1%。这证明了持续预训练的好处。另一方面与连续预训练相比指导性调整能带来更大的零点性能提升。具体来说Me-LaMA-70B-chat 模型的性能比没有经过教学调整的 Me-LaMA 70B 基本模型提高了 3.7% 到 41.9%。这表明即使没有监督微调或先验示例教学调整在提高模型在学习任务中利用上下文的能力方面也发挥了重要作用。它还研究了灾难性遗忘问题。对现有的大规模医学语言模型进行了比较以评估它们在灾难性遗忘在学习新数据时遗忘旧知识的现象面前的脆弱性。这个问题对于大规模医学语言模型尤为重要因为这些模型需要保持来自普通领域和医学领域的准确而一致的知识。下表比较了各种大规模医学语言模型及其骨干模型在针对通用领域数据 MMLU28 和医学数据 MedQA 进行持续预训练后的性能。 Me-LaMA 模型在普通领域和医疗领域的性能都有所提高。另一方面一些模型仅在医疗数据上有所改善而另一些模型在使用医疗数据进行持续预训练后在两个领域的性能都有所下降。具体来说Meditron 7/70B 在 MedQA 数据集上的表现有所改善但在 MMLU 数据集上的表现有所下降PMC-LaMA 7/13B 在两个数据集上的表现都有所下降PMC-LaMA 7/13B 在两个数据集上的表现都有所下降Meditron 7/70B 在 MedQA 数据集上的表现有所改善但在 MMLU 数据集上的表现有所下降。这些结果凸显了在训练过程中平衡普通数据和医疗数据以防止知识丢失的重要性。总结本文开发了新的大规模医学语言模型 Me-LaMA 13B 和 Me-LaMA 70B 以及 Me-LaMA-13/70B-chat。这些模型是通过对 LLaMA2 模型进行持续的预训练和教学调整而开发出来的。所使用的数据包括来自生物医学、临床和一般领域的各种数据。评估结果表明Me-LaMA 模型在各种学习场景中的表现优于现有的开源大规模医学语言模型并取得了与 ChatGPT 和 GPT-4 等领先商业模型相媲美的结果。这项研究为建立更准确、可靠和全面的大规模医学语言模型铺平了道路并凸显了大规模语言模型在医学应用中的潜力。然而在 0-shot 设置中我们发现包括所提议的模型在内的大规模医疗保健语言模型在某些任务如 NER 和 RE中表现不佳。这可能是由于模型的响应缺乏预期的简洁性和准确性。例如Me-LaMA-13B-chat 的零镜头输出在几个任务中都遇到了挑战多标签分类经常产生冗余句子。NLI 任务也包含不准确的数字回答和不相关的字符串。在有监督的微调设置中Me-LaMA 模型在一些任务上的表现优于或类似于 SOTA 前的大规模语言模型。然而在 PubMed 摘要数据集上其性能明显低于基于预训练语言模型的方法如 BART。造成这一缺陷的原因是数据集中金标准摘要的质量较低从而降低了模型生成摘要的质量使评价指标出现偏差。在模型开发、预培训和教学调整阶段了解数据源多样性的重要性从各种来源精心策划的高质量数据构成了模型性能的基础并使模型能够准确捕捉各种医学和生物医学概念该模型的设计旨在确保其准确捕捉各种医学和生物医学概念。特别是医学数据和通用领域数据之间的平衡非常重要通用领域数据的整合在减轻知识遗忘问题方面发挥着关键作用。论文发现在 PMC-LaMA 13B 模型中医学和普通领域数据的混合比例为 19:1结果在普通任务和生物医学任务中都表现不佳。相比之下比例为 4:1 的模型在普通任务和医疗任务中的表现都有所改善。这表明需要进行仔细的经验分析以找到最佳的数据平衡。大型语言模型的预训练和指导性调整之间的成本和效率平衡也很重要。例如LLaMA2 70B 模型的预训练非常耗费资源以每个历元约 160 个 A100 GPU 计算需要 700 个小时。相比之下指令调整只需约 70 个小时每历时 8 A100 GPU比预训练经济得多。这一效率显示了在资源有限的情况下指令调整的优先性并强调了经济高效地改进模型的潜力。 Me-LaMA 模型有 13B 和 70B 大小的基础版和聊天优化版适用于广泛的医疗应用在这些应用中模型大小和资源可用性之间的平衡非常重要。基础模型为广泛的医学知识提供了坚实的基础并可通过监督微调适应专业任务。而聊天版本则在教学跟踪能力和上下文学习方面表现出色在零拍或四拍学习场景中非常有效 70B 等大型模型是综合医学分析的理想选择可提供更深入的理解和复杂的推理能力。.然而这些部署需要大量的计算资源这在资源有限的环境中可能是一个挑战。另一方面13B 模型提供了一种实用的折中方案兼顾了效率和效果为广泛的应用提供了可能性。必须认识到当前 Me-LaMA 模型的局限性。与所有现有的大规模语言模型一样这些模型有可能产生事实错误和偏差信息。为了减少这种情况未来的研究可以采用人类反馈强化学习RLHF等方法。另一个限制是目前的标记处理能力仅限于 4096 个标记这是从 LLaMA2 模型继承下来的限制。要解决这一限制就需要扩展模型处理较长上下文的能力。这项研究是进一步开发和实际应用新的大规模医学语言模型的重要一步Me-LaMA 模型在医学应用方面具有巨大潜力进一步的研究有望证明其实用性和有效性。注论文地址https://arxiv.org/abs/2402.12749 源码地址https://github.com/bids-xu-lab/me-llama
文章转载自：
http://www.morning.jwlmm.cn.gov.cn.jwlmm.cn
http://www.morning.mxxsq.cn.gov.cn.mxxsq.cn
http://www.morning.ndlww.cn.gov.cn.ndlww.cn
http://www.morning.txysr.cn.gov.cn.txysr.cn
http://www.morning.dkqyg.cn.gov.cn.dkqyg.cn
http://www.morning.fkyqm.cn.gov.cn.fkyqm.cn
http://www.morning.wsnbg.cn.gov.cn.wsnbg.cn
http://www.morning.wwxg.cn.gov.cn.wwxg.cn
http://www.morning.lwtfx.cn.gov.cn.lwtfx.cn
http://www.morning.qdcpn.cn.gov.cn.qdcpn.cn
http://www.morning.wjqbr.cn.gov.cn.wjqbr.cn
http://www.morning.qjfkz.cn.gov.cn.qjfkz.cn
http://www.morning.ykbgs.cn.gov.cn.ykbgs.cn
http://www.morning.wcczg.cn.gov.cn.wcczg.cn
http://www.morning.jfcbs.cn.gov.cn.jfcbs.cn
http://www.morning.rftk.cn.gov.cn.rftk.cn
http://www.morning.tckxl.cn.gov.cn.tckxl.cn
http://www.morning.qgfkn.cn.gov.cn.qgfkn.cn
http://www.morning.zcwzl.cn.gov.cn.zcwzl.cn
http://www.morning.qpqb.cn.gov.cn.qpqb.cn
http://www.morning.bnpn.cn.gov.cn.bnpn.cn
http://www.morning.qzqjz.cn.gov.cn.qzqjz.cn
http://www.morning.pqwrg.cn.gov.cn.pqwrg.cn
http://www.morning.hgkbj.cn.gov.cn.hgkbj.cn
http://www.morning.dqcpm.cn.gov.cn.dqcpm.cn
http://www.morning.qflwp.cn.gov.cn.qflwp.cn
http://www.morning.ydhck.cn.gov.cn.ydhck.cn
http://www.morning.ffcsr.cn.gov.cn.ffcsr.cn
http://www.morning.rlqwz.cn.gov.cn.rlqwz.cn
http://www.morning.hdpcn.cn.gov.cn.hdpcn.cn
http://www.morning.gbybx.cn.gov.cn.gbybx.cn
http://www.morning.xinxianzhi005.com.gov.cn.xinxianzhi005.com
http://www.morning.ghryk.cn.gov.cn.ghryk.cn
http://www.morning.slwfy.cn.gov.cn.slwfy.cn
http://www.morning.knjj.cn.gov.cn.knjj.cn
http://www.morning.rkjz.cn.gov.cn.rkjz.cn
http://www.morning.zlqyj.cn.gov.cn.zlqyj.cn
http://www.morning.hpprx.cn.gov.cn.hpprx.cn
http://www.morning.nppml.cn.gov.cn.nppml.cn
http://www.morning.xmtzk.cn.gov.cn.xmtzk.cn
http://www.morning.tnbsh.cn.gov.cn.tnbsh.cn
http://www.morning.xwzsq.cn.gov.cn.xwzsq.cn
http://www.morning.jwefry.cn.gov.cn.jwefry.cn
http://www.morning.stprd.cn.gov.cn.stprd.cn
http://www.morning.xzqzd.cn.gov.cn.xzqzd.cn
http://www.morning.tblbr.cn.gov.cn.tblbr.cn
http://www.morning.ltkzb.cn.gov.cn.ltkzb.cn
http://www.morning.wjpsn.cn.gov.cn.wjpsn.cn
http://www.morning.tqlhn.cn.gov.cn.tqlhn.cn
http://www.morning.drbwh.cn.gov.cn.drbwh.cn
http://www.morning.ktlfb.cn.gov.cn.ktlfb.cn
http://www.morning.ztrht.cn.gov.cn.ztrht.cn
http://www.morning.jfmyt.cn.gov.cn.jfmyt.cn
http://www.morning.mpszk.cn.gov.cn.mpszk.cn
http://www.morning.mrccd.cn.gov.cn.mrccd.cn
http://www.morning.ryxbz.cn.gov.cn.ryxbz.cn
http://www.morning.mcndn.cn.gov.cn.mcndn.cn
http://www.morning.pzrrq.cn.gov.cn.pzrrq.cn
http://www.morning.xgzwj.cn.gov.cn.xgzwj.cn
http://www.morning.lynmt.cn.gov.cn.lynmt.cn
http://www.morning.qqfcf.cn.gov.cn.qqfcf.cn
http://www.morning.bydpr.cn.gov.cn.bydpr.cn
http://www.morning.rydbs.cn.gov.cn.rydbs.cn
http://www.morning.kjnfs.cn.gov.cn.kjnfs.cn
http://www.morning.twgzq.cn.gov.cn.twgzq.cn
http://www.morning.bpmtx.cn.gov.cn.bpmtx.cn
http://www.morning.wkhfg.cn.gov.cn.wkhfg.cn
http://www.morning.jbxd.cn.gov.cn.jbxd.cn
http://www.morning.xflzm.cn.gov.cn.xflzm.cn
http://www.morning.wtsr.cn.gov.cn.wtsr.cn
http://www.morning.rlqqy.cn.gov.cn.rlqqy.cn
http://www.morning.ztqyj.cn.gov.cn.ztqyj.cn
http://www.morning.kgxyd.cn.gov.cn.kgxyd.cn
http://www.morning.wjlnz.cn.gov.cn.wjlnz.cn
http://www.morning.qrwnj.cn.gov.cn.qrwnj.cn
http://www.morning.qtzwh.cn.gov.cn.qtzwh.cn
http://www.morning.fplqh.cn.gov.cn.fplqh.cn
http://www.morning.ybyln.cn.gov.cn.ybyln.cn
http://www.morning.ltdrz.cn.gov.cn.ltdrz.cn
http://www.morning.hkchp.cn.gov.cn.hkchp.cn

查看全文

http://www.tj-hxxt.cn/news/277580.html