沈阳做网站公司哪家好,营销型网站建站推广,wordpress nginx 301,连接交换图解GPT 除了BERT以外，另一个预训练模型GPT也给NLP领域带来了不少轰动，本节也对GPT做一个详细的讲解。 OpenAI提出的GPT-2模型(https://openai.com/blog/better-language-models/) 能够写出连贯并且高质量的文章，比之前语言模型效果好很多。GPT-2是基于Transformer搭建的，相…图解GPT
除了BERT以外，另一个预训练模型GPT也给NLP领域带来了不少轰动，本节也对GPT做一个详细的讲解。
OpenAI提出的GPT-2模型(https://openai.com/blog/better-language-models/) 能够写出连贯并且高质量的文章，比之前语言模型效果好很多。GPT-2是基于Transformer搭建的，相比于之前的NLP语言模型的区别是：基于Transformer大模型、，在巨大的数据集上进行了预训练。在本章节中，我们将对GPT-2的结构进行分析，对GPT-2的应用进行学习，同时还会深入解析所涉及的self-attention结构。
语言模型和GPT-2
什么是语言模型
本文主要描述和对比2种语言模型：
自编码（auto-encoder）语言模型自回归（auto-regressive）语言模型先看自编码语言模型。
自编码语言模型典型代表就是BERT。如下图所示，自编码语言模型通过随机Mask输入的部分单词，然后预训练的目标是预测被Mask的单词，不仅可以融入上文信息，还可以自然的融入下文信息。 图： BERT mask
自编码语言模型的优缺点：
优点：自然地融入双向语言模型，同时看到被预测单词的上文和下文缺点：训练和预测不一致。训练
