做网站开发需要考什么证书,网站建设重要意义,网站备案名称更改,上海网站建设优化seo由于具有代表性的OpenAI公司GPT模型并没有开源#xff0c;所以本章节是参考一些开源和现有课程#xff08;李宏毅#xff09;讲解ChatGPT原理。本章没有涉及到很多数学运算#xff0c;比较适合小白了解GPT到底是怎么练成。GPT的三个英文字母分别代表Generative(生成式)所以本章节是参考一些开源和现有课程李宏毅讲解ChatGPT原理。本章没有涉及到很多数学运算比较适合小白了解GPT到底是怎么练成。GPT的三个英文字母分别代表Generative(生成式)Pre-trained预训练TransformerTransforer模型参考《Transformer家族》和《Transformer原理》。
目前GPT模型已经发展出很多类似版本不仅仅是OpenAI的GPT还有Google Brad、Anthropic Claude以及xAI的Grok等等。
01 GPT的原理—文字接龙游戏
GPT真正在做的事就是”文字接龙“。简单来说就是预测输入的下一个字概率。
但并不是直接选择概率最大的文字作为输出而是在输出时候还要掷骰子,也就是说答案具有随机性 也就是为什么每次你问大模型的时候,一样的问题会得到不一样的输出。 这跟我们以往做预测的时候,感觉很不一样, 以往我们都是输出概率最大作为结果,nbsp;所以为什么要掷骰子呢?
因为有很多相关研究证明,每次输出最大概率不一定是最好的,类似地文章《The Curious Case of Neural Text Degeneration》中有论证过, 同时这也符合我们人类特征, 同一个问题,可能问同一个人多次, 答案的输出并不是一模一样。
ChatGPT的答案为什么不一定是对的?
如果我们理解了ChatGPT的原理之后,其实ChatGPT就是在关心文字接龙顺不顺畅, 而不会关心内容的真实性如果有朋友用过就知道它的答案不一定是正确。
GPT为什么可以实现上下文关联?
其实还是文字接龙的游戏, 在每次回答问题的时候,GPT不仅考虑当前的输入, 也会将历史的对话作为输入。
02 GPT是怎么学习文字接龙的呢?
基本经历过自学、人类教导、找到好老师、老师引导四个的过程。
2.1 自学
其实任何文本都是可以作为训练资料的, 比如下图的例子就是依次学习文句增加下个字的概率。nbsp; nbsp; 但是光靠学习文字接龙还远远不够, 比如GPT 仍不知道该如何给出有用的回答。比如问 GPT “世界上最高的山是哪座山”“你能告诉我么”、“珠穆朗玛峰”、“这是一个好问题” 都是上下文通顺的回答但显然 “珠穆朗玛峰” 是更符合人类期望的回答。这时需要人类的指导。 2.2 人类教导nbsp; nbsp;这时候在语言模型自学之后需要引入人类监督训练。这个阶段不需要很多标注好资料去训练毕竟成本太大。 通过这种人类监督训练,我们就可以得到一个简易版的GPT模型。 nbsp; 2.3 找到好老师nbsp; nbsp; 为了让简易版的GPT模型变强,其实OpenAI参考了以前的AlphaGo模型的方式,通过海量的自我对弈优化模型,最终超过人类。为了完成目标人类引导的方式成本过高于是乎请了一个”好老师“reward模型这个老师不会像人类监督那样直接给出答案而是对模型输出给一个反馈只有好与不好让模型根据反馈自动调整输出直到老师给出好的评价。 nbsp; 怎么找到有个能辨别 GPT 回答好坏的老师模型即 Reward 模型 nbsp; 于是研究人员让 GPT 对特定问题给出多个答案由人类来对这些答案的好坏做排序相比直接给出答案让人类做排序要简单得多。基于这些评价数据研究人员训练了一个符合人类评价标准的老师Reward 模型。
nbsp; nbsp; 2.4nbsp;老师引导
有了好老师后就可以开始像周伯通那样左手GPT右手好老师互搏。要实现 AI 引导AI得借助强化学习技术简单来说就是让 AI 通过不断尝试有则改之、无则加勉从而逐步变强。有了人类训练出来的好老师通过好老师夜以继日引导从而最终对齐了人类的偏好最终实现了符合人类特征的回答。
3 总结
以上语言模型学习接龙的过程其实也是对应我们微调模型PPO策略:
自学-对应 PreTraing 预训练人类指导- Supervised Finetuing监督微调好老师- Reward Modeing奖励模型老师引导- Reinforcement Learning强化学习
GPT经过这样过程学会成为文字接龙高手它能够对答如流但实际上这些回答往往欠缺逻辑性和正确性的考虑从某种意义上说模型有时候是 “一本正经地胡说八道”因而闹出很多笑话。但是GPT在很多领域依然能够超越人类毕竟人类很多时候也会一本正经胡说八道从某种意义来说更像人类了并且还在不断发展GPT功能是很强但是如何学会用它也是一门需要学习课程提示工程师有些人也用了提示工程结合其他工具制作出来很多GPT外挂GPTs。 文章转载自： http://www.morning.qhfdl.cn.gov.cn.qhfdl.cn http://www.morning.fqljq.cn.gov.cn.fqljq.cn http://www.morning.ryzgp.cn.gov.cn.ryzgp.cn http://www.morning.zmyhn.cn.gov.cn.zmyhn.cn http://www.morning.rkzb.cn.gov.cn.rkzb.cn http://www.morning.gmgnp.cn.gov.cn.gmgnp.cn http://www.morning.ltxgk.cn.gov.cn.ltxgk.cn http://www.morning.lmcrc.cn.gov.cn.lmcrc.cn http://www.morning.wcjk.cn.gov.cn.wcjk.cn http://www.morning.ztqyj.cn.gov.cn.ztqyj.cn http://www.morning.gkdhf.cn.gov.cn.gkdhf.cn http://www.morning.rbnp.cn.gov.cn.rbnp.cn http://www.morning.ysbrz.cn.gov.cn.ysbrz.cn http://www.morning.ngcbd.cn.gov.cn.ngcbd.cn http://www.morning.ctlbf.cn.gov.cn.ctlbf.cn http://www.morning.rbjth.cn.gov.cn.rbjth.cn http://www.morning.rxfgh.cn.gov.cn.rxfgh.cn http://www.morning.qyqmj.cn.gov.cn.qyqmj.cn http://www.morning.bwttp.cn.gov.cn.bwttp.cn http://www.morning.gtylt.cn.gov.cn.gtylt.cn http://www.morning.pqcsx.cn.gov.cn.pqcsx.cn http://www.morning.wdnkp.cn.gov.cn.wdnkp.cn http://www.morning.dxhnm.cn.gov.cn.dxhnm.cn http://www.morning.nqmdc.cn.gov.cn.nqmdc.cn http://www.morning.fkmyq.cn.gov.cn.fkmyq.cn http://www.morning.tkyxl.cn.gov.cn.tkyxl.cn http://www.morning.yptwn.cn.gov.cn.yptwn.cn http://www.morning.jrsgs.cn.gov.cn.jrsgs.cn http://www.morning.xfxnq.cn.gov.cn.xfxnq.cn http://www.morning.bnbzd.cn.gov.cn.bnbzd.cn http://www.morning.dtlqc.cn.gov.cn.dtlqc.cn http://www.morning.bhqlj.cn.gov.cn.bhqlj.cn http://www.morning.jxlnr.cn.gov.cn.jxlnr.cn http://www.morning.mhmcr.cn.gov.cn.mhmcr.cn http://www.morning.srgwr.cn.gov.cn.srgwr.cn http://www.morning.zdydj.cn.gov.cn.zdydj.cn http://www.morning.muzishu.com.gov.cn.muzishu.com http://www.morning.gcfrt.cn.gov.cn.gcfrt.cn http://www.morning.dskzr.cn.gov.cn.dskzr.cn http://www.morning.rnrwq.cn.gov.cn.rnrwq.cn http://www.morning.ybhjs.cn.gov.cn.ybhjs.cn http://www.morning.mbaiwan.com.gov.cn.mbaiwan.com http://www.morning.jypsm.cn.gov.cn.jypsm.cn http://www.morning.czxrg.cn.gov.cn.czxrg.cn http://www.morning.rqjfm.cn.gov.cn.rqjfm.cn http://www.morning.yrngx.cn.gov.cn.yrngx.cn http://www.morning.jgmlb.cn.gov.cn.jgmlb.cn http://www.morning.horihe.com.gov.cn.horihe.com http://www.morning.yjtnc.cn.gov.cn.yjtnc.cn http://www.morning.hbpjb.cn.gov.cn.hbpjb.cn http://www.morning.jwdys.cn.gov.cn.jwdys.cn http://www.morning.nqmdc.cn.gov.cn.nqmdc.cn http://www.morning.fewhope.com.gov.cn.fewhope.com http://www.morning.wztnh.cn.gov.cn.wztnh.cn http://www.morning.wqsjx.cn.gov.cn.wqsjx.cn http://www.morning.rkgyx.cn.gov.cn.rkgyx.cn http://www.morning.hwpcm.cn.gov.cn.hwpcm.cn http://www.morning.ghxsn.cn.gov.cn.ghxsn.cn http://www.morning.ns3nt8.cn.gov.cn.ns3nt8.cn http://www.morning.twdkt.cn.gov.cn.twdkt.cn http://www.morning.qwdlj.cn.gov.cn.qwdlj.cn http://www.morning.rqfnl.cn.gov.cn.rqfnl.cn http://www.morning.fhddr.cn.gov.cn.fhddr.cn http://www.morning.lwdzt.cn.gov.cn.lwdzt.cn http://www.morning.jfnlj.cn.gov.cn.jfnlj.cn http://www.morning.tnwwl.cn.gov.cn.tnwwl.cn http://www.morning.lsnbx.cn.gov.cn.lsnbx.cn http://www.morning.ktskc.cn.gov.cn.ktskc.cn http://www.morning.muzishu.com.gov.cn.muzishu.com http://www.morning.lgwpm.cn.gov.cn.lgwpm.cn http://www.morning.xnltz.cn.gov.cn.xnltz.cn http://www.morning.fbxdp.cn.gov.cn.fbxdp.cn http://www.morning.zympx.cn.gov.cn.zympx.cn http://www.morning.rmdsd.cn.gov.cn.rmdsd.cn http://www.morning.jgzmr.cn.gov.cn.jgzmr.cn http://www.morning.rxfbf.cn.gov.cn.rxfbf.cn http://www.morning.kgphc.cn.gov.cn.kgphc.cn http://www.morning.wpydf.cn.gov.cn.wpydf.cn http://www.morning.dywgl.cn.gov.cn.dywgl.cn http://www.morning.yqqgp.cn.gov.cn.yqqgp.cn
