网站的后台怎么做的,门户网站建设需求文档,北京建设工程招标网,完整免费的简历模板简介#xff1a; 大语言模型#xff08;LLM#xff09;是深度学习的产物#xff0c;包含数十亿至数万亿参数#xff0c;通过大规模数据训练#xff0c;能处理多种自然语言任务。LLM基于Transformer架构#xff0c;利用多头注意力机制处理长距离依赖#xff0c;经过预训…简介 大语言模型LLM是深度学习的产物包含数十亿至数万亿参数通过大规模数据训练能处理多种自然语言任务。LLM基于Transformer架构利用多头注意力机制处理长距离依赖经过预训练和微调擅长文本生成、问答等。发展经历了从概率模型到神经网络再到预训练和大模型的演变。虽然强大但存在生成不当内容、偏见等问题需要研究者解决。评估指标包括BLEU、ROUGE和困惑度PPL。
大语言模型 (LLM) 背景
大语言模型 (Large Language Model) 是一种人工智能模型, 它们通常包含数千亿甚至更多的参数并在大规模数据集上进行训练。大语言模型可以处理多种自然语言任务如文本分类、问答、翻译、对话等等。
自然语言模型的发展经历了从概率模型到神经网络模型再到大型语言模型的过程。在这个过程中关键技术的发展推动了模型的演进和性能的提升。LLM通常建立在Transformer架构之上这种架构使用了多头注意力机制能够处理长距离的依赖关系。这些模型通过堆叠多个注意力层来提高其处理复杂语言任务的能力。随着模型参数数量的增加LLM展现出了小模型所不具备的特殊能力如上下文学习能力和逐步推理能力。这些能力的涌现使得LLM在多项任务中取得了显著的效果提升。LLM的训练过程通常包括预训练和微调两个阶段。在预训练阶段模型在大量无标签数据上学习语言的一般性规律在微调阶段模型通过有标签数据进行调优以适应特定的下游任务。LLM的应用产生了深远的影响例如ChatGPT等模型展现出了强大的人机对话能力和任务求解能力这对整个AI研究社区产生了重大影响。尽管LLM在多方面展现出了强大的能力但同时也带来了一些风险和挑战如生成不当内容、偏见放大等问题这些都需要研究者在模型设计和训练过程中予以重视和解决。
语言模型发展的三个阶段
第一阶段 设计一系列的自监督训练目标MLM、NSP等设计新颖的模型架构Transformer遵循Pre-training和Fine-tuning范式。典型代表是BERT、GPT、XLNet等第二阶段 逐步扩大模型参数和训练语料规模探索不同类型的架构。典型代表是BART、T5、GPT-3等第三阶段 走向AIGCArtificial Intelligent Generated Content时代模型参数规模步入千万亿模型架构为自回归架构大模型走向对话式、生成式、多模态时代更加注重与人类交互进行对齐实现可靠、安全、无毒的模型。典型代表是InstructionGPT、ChatGPT、Bard、GPT-4等。
语言模型通俗理解用来计算一个句子的概率的模型也就是判断一句话是否是人话的概率 。
标准定义对于某个句子序列, 如S {W1, W2, W3, …, Wn}, 语言模型就是计算该序列发生的概率如果给定的词序列符合语用习惯, 则给出高概率, 否则给出低概率。
让我们通过一些具体的例子来理解语言模型如何计算句子的概率并判断一句话是否符合自然语言的语用习惯。
假设有一个非常简单的语言模型它基于词频来计算句子的概率。这个模型会统计每个单词在大量文本中出现的次数然后用这些频率来估计概率。例如如果单词 “the” 在训练集中出现了非常多次那么 P(the) 就会很高。对于句子 “The quick brown fox jumps over the lazy dog,” 模型会计算每个单词的概率并将它们相乘得到整个句子的概率 P(S)。
P(S)P(The)×P(quick)×P(brown)×…timesP(dog)
更复杂的语言模型如n-gram模型不仅考虑单个单词的频率还考虑单词序列的频率。例如一个bi-gram模型会考虑像 “quick brown” 这样的词对在文本中共同出现的频率。这样它可以捕捉到一些单词之间的概率依赖关系比如 “quick” 后面很可能会跟着 “brown”。
P(S)P(The)×P(quick∣The)×P(brown∣quick)×…×P(dog)
现代语言模型如基于Transformer的模型使用深度学习来捕捉更加复杂的语言结构。这些模型可以处理长距离的依赖关系并且能够根据上下文来预测下一个单词。例如如果你输入了 “The cat is on the”, 模型可能会预测下一个单词是 “mat”因为它学会了 “on the mat” 是一个常见的短语。
基于语言模型技术的发展可以将语言模型分为四种类型 基于规则和统计的语言模型 神经语言模型 预训练语言模型 大语言模型
基于规则和统计的语言模型早期的语音识别系统多采用这种语言模型它通过计算词序列出现的概率来评估句子的合理性。N-gram模型就是一种典型的基于统计的语言模型它利用大量文本数据来计算单词序列出现的频率。神经语言模型随着深度学习的发展神经语言模型Neural Language Model, NLM开始兴起。这类模型通常使用神经网络结构如前馈神经网络FeedForward Neural Network LM、循环神经网络RNN LM等能够捕捉到更为复杂的语言模式和上下文信息。预训练语言模型预训练语言模型Pre-trained Language Model, PLM是在大规模数据集上进行无监督预训练的模型然后再针对特定任务进行微调。BERTBidirectional Encoder Representations from Transformers就是一个著名的预训练语言模型它通过预训练获得丰富的语义表示适用于多种自然语言处理任务。大语言模型大规模语言模型Large Language Model, LLM通常拥有数十亿到数万亿个参数能够处理各种自然语言处理任务如自然语言生成、文本分类、文本摘要、机器翻译、语音识别等。这些模型基于深度学习技术使用互联网上的海量文本数据进行训练具有强大的语言理解和生成能力。
N-gram
N-gram是一种基于统计的语言模型算法用于预测下一个词或字符出现的概率。
N-gram模型的核心思想是将文本分割成连续的n个词或字符的序列这些序列被称为grams。然后模型统计这些n-grams在文本中出现的频率以此作为预测下一个词或字符出现概率的依据。这里的n是一个正整数表示词组中词的个数。例如在句子“我喜欢学习自然语言处理”中1-gramunigram是单个词如“我”、“喜欢”、“学习”等2-grambigram是两个连续的词如“我喜欢”、“喜欢学习”等而3-gramtrigram则是三个连续的词如“我喜欢学习”、“喜欢学习自然”等。为了解决参数空间过大问题引入马尔科夫假设随意一个词出现的概率只与它前面出现的有限的一个或者几个词有关。
如果一个词的出现与它周围的词是独立的那么我们就称之为unigram也就是一元语言模型P(S) P(W_1)P(W_2)…*P(W_n)如果一个词的出现仅依赖于它前面出现的一个词那么我们就称之为bigramP(S) P(W_1)*P(W_2|W_1)P(W_3|W_2)…*P(W_n|W_{n-1})如果一个词的出现仅依赖于它前面出现的两个词那么我们就称之为trigramP(S) P(W_1)*P(W_2|W_1)P(W_3|W_2,W_1)…*P(W_n|W_{n-1},W_{n-2})
在实践中用的最多的就是bigram和trigram接下来以bigram语言模型为例理解其工作原理
首先我们准备一个语料库数据集为了计算对应的二元模型的参数即 P ( W i ∣ W i − 1 ) P(W_i|W{i-1}) P(Wi∣Wi−1)我们要先计数即 C ( W i − 1 , W i ) C(W{i-1},W_i) C(Wi−1,Wi)然后计数 C ( W i − 1 ) C(W_{i-1}) C(Wi−1) , 再用除法可得到概率。
根据给定的计数结果我们可以计算bigram语言模型的参数。首先我们需要将计数结果转换为概率形式计算一个句子的概率 N-gram语言模型的特点 优点采用极大似然估计, 参数易训练; 完全包含了前n-1个词的全部信息; 可解释性强, 直观易理解。 缺点缺乏长期以来只能建模到前n-1个词; 随着n的增大参数空间呈指数增长。数据稀疏难免会出现OOV问题; 单纯的基于统计频次泛化能力差。
神经网络语言模型
伴随着神经网络技术的发展人们开始尝试使用神经网络来建立语言模型进而解决N-gram语言模型存在的问题。
模型的输入 w t − n 1 , … , w t − 2 , w t − 1 w{t-n1}, …, w{t-2}, w_{t-1} wt−n1,…,wt−2,wt−1就是前n-1个词。现在需要根据这已知的n-1个词预测下一个词 w t w_t wt。 C ( w ) C(w) C(w)表示 w w w所对应的词向量。网络的第一层输入层是将 C ( w t − n 1 ) , … , C ( w t − 2 ) , C ( w t − 1 ) C(w{t-n1}),…,C(w{t-2}), C(w_{t-1}) C(wt−n1),…,C(wt−2),C(wt−1)这n-1个向量首尾拼接起来形成一个 ( n − 1 ) ∗ m (n-1)*m (n−1)∗m大小的向量记作 x x x。网络的第二层隐藏层就如同普通的神经网络直接使用一个全连接层, 通过全连接层后再使用 t a n h tanh tanh这个激活函数进行处理。网络的第三层输出层一共有 V V V个节点 ( V V V 代表语料的词汇)本质上这个输出层也是一个全连接层。每个输出节点 y i y_i yi表示下一个词语为 i i i 的未归一化log 概率。最后使用 softmax 激活函数将输出值 y y y进行归一化。得到最大概率值就是我们需要预测的结果。
基于Transformer的预训练语言模型
基于Transformer的预训练语言模型T-PTLM是自然语言处理领域的一大创新它们通过在大量无标注文本数据上进行预训练来学习通用的语言表征并能够将这些知识迁移到各种下游任务中以下是一些重要的T-PTLM及其特点
GPTGenerative Pre-training TransformerGPT是一种生成型预训练语言模型它使用Transformer架构从大规模语料库中学习语言的内在结构和语义信息。GPT的核心思想是自回归建模即通过逐词预测下一个词的方式来生成整个句子或文本。BERTBidirectional Encoder Representations from TransformersBERT是一个双向的Transformer编码器它通过预训练任务如遮蔽语言模型和下一句预测来捕捉文本中的上下文信息。BERT模型在多种NLP任务中取得了显著的性能提升。XLNetXLNet是一种改进的自回归模型它在GPT的基础上引入了Transformer-XL中的相对位置编码和段级重复机制旨在克服GPT在长距离依赖学习和复制机制上的不足。
大语言模型
随着对预训练语言模型研究的开展人们逐渐发现可能存在一种标度定律随着预训练模型参数的指数级提升其语言模型性能也会线性上升。2020年OpenAI发布了参数量高达1750亿的GPT-3首次展示了大语言模型的性能。
大语言模型的特点 优点具备了能与人类沟通聊天的能力甚至具备了使用插件进行自动信息检索的能力。 缺点参数量大算力进行模型训练和推理所需的计算能力要求高、生成部分有害的、有偏见的内容等等。
语言模型的评估指标
BLEU
BLEU (Bilingual Evaluation Understudy) 是一种广泛使用的评估机器翻译系统输出质量的指标。它通过比较机器翻译的结果和一组参考翻译通常由人工翻译或被认为是准确的翻译来计算翻译的准确性。BLEU算法实际上就是在判断两个句子的相似程度.BLEU 的分数取值范围是 01分数越接近1说明翻译的质量越高。
在实际应用中通常会计算BLEU-1到BLEU-4的值并对它们进行加权平均以得到一个综合的BLEU分数。这样做的原因是不同的n-gram级别能够捕捉翻译质量的不同方面BLEU-1更侧重于词汇的准确性而BLEU-2、BLEU-3和BLEU-4则能够更好地衡量句子的流畅性和结构一致性。
candidate: {it, is, a, nice, day, today}
reference: {today, is, a, nice, day}
☕️
其中{today, is, a, nice, day}匹配所以匹配度为5/6
candidate: {it is, is a, a nice, nice day, day today}
reference: {today is, is a, a nice, nice day}
☕️
其中{is a, a nice, nice day}匹配所以匹配度为3/5
candidate: {it is a, is a nice, a nice day, nice day today}
reference: {today is a, is a nice, a nice day}
☕️
其中{is a nice, a nice day}匹配所以匹配度为2/4
candidate: the the the the
reference: The cat is standing on the ground
如果按照1-gram的方法进行匹配则匹配度为1显然是不合理的所以计算某个词的出现次数进行改进。
ROUGE
ROUGERecall-Oriented Understudy for Gisting Evaluation是一种评估自动文本摘要或机器翻译输出质量的指标它通过比较生成的摘要与一组参考摘要通常由人工创建之间的相似度来衡量。与BLEU类似ROUGE也使用n-gram的概念但它们的计算方式和侧重点有所不同。
ROUGE指标通常报告为召回率因为它更关注生成摘要中包含多少参考摘要的信息而BLEU则更注重精确率即生成摘要的准确性。
ROUGE分为四种方法ROUGE-N, ROUGE-L, ROUGE-W, ROUGE-S。 ROUGE-N (ROUGE-n): 计算生成摘要中n-gram连续的n个单词在参考摘要中出现的频率。ROUGE-N通常用于计算UnigramN1BigramN2和TrigramN3。 ROUGE-L (ROUGE-L): 基于最长公共子序列Longest Common Subsequence, LCS的方法计算生成摘要与参考摘要之间的LCS长度与参考摘要长度的比例。 ROUGE-W (ROUGE-W): 基于最长公共子串Longest Common Substring, LCS的方法计算生成摘要与参考摘要之间的LCS数量与参考摘要中的单词总数之比。 ROUGE-S (ROUGE-S): 基于序列的匹配允许间隔性的词匹配而不是连续的n-gram匹配。
困惑度PPL
困惑度Perplexity是衡量概率模型预测样本的好坏程度的一种指标。在自然语言处理中它常用于评估语言模型的性能。困惑度越低表示模型的预测能力越好。
PPLexp(−fraclog(P(X))N)其中P(X) 是模型对整个数据集的概率分布的连乘积N 是数据集中的总词数。困惑度能够衡量语言模型对文本的生成能力即模型预测单词序列的概率分布的准确性~ 文章转载自： http://www.morning.wkws.cn.gov.cn.wkws.cn http://www.morning.xgcwm.cn.gov.cn.xgcwm.cn http://www.morning.rjrnx.cn.gov.cn.rjrnx.cn http://www.morning.ttshf.cn.gov.cn.ttshf.cn http://www.morning.wdshp.cn.gov.cn.wdshp.cn http://www.morning.wnqbf.cn.gov.cn.wnqbf.cn http://www.morning.ywqw.cn.gov.cn.ywqw.cn http://www.morning.zzqgc.cn.gov.cn.zzqgc.cn http://www.morning.jrksk.cn.gov.cn.jrksk.cn http://www.morning.nchlk.cn.gov.cn.nchlk.cn http://www.morning.bxch.cn.gov.cn.bxch.cn http://www.morning.ylljn.cn.gov.cn.ylljn.cn http://www.morning.tsmcc.cn.gov.cn.tsmcc.cn http://www.morning.qrlkt.cn.gov.cn.qrlkt.cn http://www.morning.gbwfx.cn.gov.cn.gbwfx.cn http://www.morning.smcfk.cn.gov.cn.smcfk.cn http://www.morning.pzjrm.cn.gov.cn.pzjrm.cn http://www.morning.xnqjs.cn.gov.cn.xnqjs.cn http://www.morning.hxmqb.cn.gov.cn.hxmqb.cn http://www.morning.junmap.com.gov.cn.junmap.com http://www.morning.twmp.cn.gov.cn.twmp.cn http://www.morning.ddgl.com.cn.gov.cn.ddgl.com.cn http://www.morning.wsyst.cn.gov.cn.wsyst.cn http://www.morning.mtrrf.cn.gov.cn.mtrrf.cn http://www.morning.kehejia.com.gov.cn.kehejia.com http://www.morning.srsln.cn.gov.cn.srsln.cn http://www.morning.drzkk.cn.gov.cn.drzkk.cn http://www.morning.qtyfb.cn.gov.cn.qtyfb.cn http://www.morning.tbrnl.cn.gov.cn.tbrnl.cn http://www.morning.wnjrf.cn.gov.cn.wnjrf.cn http://www.morning.zsgbt.cn.gov.cn.zsgbt.cn http://www.morning.bpmdh.cn.gov.cn.bpmdh.cn http://www.morning.wkws.cn.gov.cn.wkws.cn http://www.morning.kdbbm.cn.gov.cn.kdbbm.cn http://www.morning.qcdtzk.cn.gov.cn.qcdtzk.cn http://www.morning.tgtrk.cn.gov.cn.tgtrk.cn http://www.morning.dbcw.cn.gov.cn.dbcw.cn http://www.morning.tzcr.cn.gov.cn.tzcr.cn http://www.morning.qwwcf.cn.gov.cn.qwwcf.cn http://www.morning.yqlrq.cn.gov.cn.yqlrq.cn http://www.morning.qmrsf.cn.gov.cn.qmrsf.cn http://www.morning.ftync.cn.gov.cn.ftync.cn http://www.morning.gbqgr.cn.gov.cn.gbqgr.cn http://www.morning.yydeq.cn.gov.cn.yydeq.cn http://www.morning.qjsxf.cn.gov.cn.qjsxf.cn http://www.morning.fykrm.cn.gov.cn.fykrm.cn http://www.morning.qfmcm.cn.gov.cn.qfmcm.cn http://www.morning.fkflc.cn.gov.cn.fkflc.cn http://www.morning.zxqyd.cn.gov.cn.zxqyd.cn http://www.morning.dlrsjc.com.gov.cn.dlrsjc.com http://www.morning.rmpkn.cn.gov.cn.rmpkn.cn http://www.morning.kskpx.cn.gov.cn.kskpx.cn http://www.morning.yxwcj.cn.gov.cn.yxwcj.cn http://www.morning.hlmkx.cn.gov.cn.hlmkx.cn http://www.morning.czgfn.cn.gov.cn.czgfn.cn http://www.morning.pqwhk.cn.gov.cn.pqwhk.cn http://www.morning.rnmc.cn.gov.cn.rnmc.cn http://www.morning.drggr.cn.gov.cn.drggr.cn http://www.morning.zlnyk.cn.gov.cn.zlnyk.cn http://www.morning.tsnwf.cn.gov.cn.tsnwf.cn http://www.morning.kzhgy.cn.gov.cn.kzhgy.cn http://www.morning.pqrhb.cn.gov.cn.pqrhb.cn http://www.morning.kxrhj.cn.gov.cn.kxrhj.cn http://www.morning.jxlnr.cn.gov.cn.jxlnr.cn http://www.morning.tfbpz.cn.gov.cn.tfbpz.cn http://www.morning.zxybw.cn.gov.cn.zxybw.cn http://www.morning.qtrlh.cn.gov.cn.qtrlh.cn http://www.morning.mdrnn.cn.gov.cn.mdrnn.cn http://www.morning.tstwx.cn.gov.cn.tstwx.cn http://www.morning.pcngq.cn.gov.cn.pcngq.cn http://www.morning.ubpsa.cn.gov.cn.ubpsa.cn http://www.morning.zxwqt.cn.gov.cn.zxwqt.cn http://www.morning.fhsgw.cn.gov.cn.fhsgw.cn http://www.morning.jbpodhb.cn.gov.cn.jbpodhb.cn http://www.morning.zlfxp.cn.gov.cn.zlfxp.cn http://www.morning.sgbjh.cn.gov.cn.sgbjh.cn http://www.morning.nykzl.cn.gov.cn.nykzl.cn http://www.morning.lksgz.cn.gov.cn.lksgz.cn http://www.morning.btrfm.cn.gov.cn.btrfm.cn http://www.morning.nxhjg.cn.gov.cn.nxhjg.cn
