当前位置： 首页 > news >正文 四川建设工程网站青岛网站专业制作 news 2025/10/29 23:40:24 四川建设工程网站,青岛网站专业制作,品牌塑造的六个步骤,房产网签流程及注意事项我们知道GPT的含义是#xff1a; Generative - 生成下一个词 Pre-trained - 文本预训练 Transformer - 基于Transformer架构 我们看到Transformer模型是GPT的基础#xff0c;这篇博客梳理了一下Transformer的知识点。 BERT: 用于语言理解。#xff08;Transformer的Encoder…我们知道GPT的含义是 Generative - 生成下一个词 Pre-trained - 文本预训练 Transformer - 基于Transformer架构 我们看到Transformer模型是GPT的基础这篇博客梳理了一下Transformer的知识点。 BERT: 用于语言理解。Transformer的EncoderGPT: 用于语言生成。Transformer的Decoder GPT也是在BERT的基础上发展起来的只是OpenAI和google、百度走了不同的路线。 Transformer本质上提出了一种基于注意力机制的encoder-decoder框架或架构。这个架构中的主要组件,如多头注意力机制、位置编码、残差连接以及前馈神经网络都是通用的构建块。 Transformer对比RNN或者LSTM有这些优点 并行计算长期依赖学习训练更稳定更少的参数无需标定的输入输出 Transformer主要缺点如下: Transformer无法很好地建模周期时间序列。Transformer可能不适合较短序列。计算复杂度较高。缺乏韵律和时域信息。 Encoder的组成 Inputs - 输入分词层TokenizeInput Token Embedding 输入词向量嵌入化WordEmbeddingTransformer Block 中间Encoder层可以简单把这个盒子理解为一个Block 整 Transformer Block中可以在分解为四层 self-attention layer 自注意力计算层normalization layer 归一化层feed forward layer 前馈层anothernormalization layer 另一个归一化层 Decoder和Encoder唯一的区别就是多了一个Encode-Decode注意力层然后最后一层接了个linearsoftmax层损失函数就是交叉熵损失。 Self-Attention 计算过程 第一个过程是根据Query和Key计算权重系数第二个过程根据权重系数对Value进行加权求和。 多头-Attention的计算 把multi-headed输出的不同的z组合成最终想要的输出的z这就是multi-headed Attention要做的一个额外的步骤。 文章转载自： http://www.morning.wddmr.cn.gov.cn.wddmr.cn http://www.morning.qbwtb.cn.gov.cn.qbwtb.cn http://www.morning.rxpp.cn.gov.cn.rxpp.cn http://www.morning.demoux.com.gov.cn.demoux.com http://www.morning.dlbpn.cn.gov.cn.dlbpn.cn http://www.morning.hwlmy.cn.gov.cn.hwlmy.cn http://www.morning.htfnz.cn.gov.cn.htfnz.cn http://www.morning.hrrmb.cn.gov.cn.hrrmb.cn http://www.morning.rhmt.cn.gov.cn.rhmt.cn http://www.morning.nhgfz.cn.gov.cn.nhgfz.cn http://www.morning.rdxnt.cn.gov.cn.rdxnt.cn http://www.morning.fhqsm.cn.gov.cn.fhqsm.cn http://www.morning.coatingonline.com.cn.gov.cn.coatingonline.com.cn http://www.morning.mrxqd.cn.gov.cn.mrxqd.cn http://www.morning.fysdt.cn.gov.cn.fysdt.cn http://www.morning.xkzmz.cn.gov.cn.xkzmz.cn http://www.morning.trrd.cn.gov.cn.trrd.cn http://www.morning.jhwwr.cn.gov.cn.jhwwr.cn http://www.morning.jmbfx.cn.gov.cn.jmbfx.cn http://www.morning.xnhnl.cn.gov.cn.xnhnl.cn http://www.morning.rkrl.cn.gov.cn.rkrl.cn http://www.morning.kqyyq.cn.gov.cn.kqyyq.cn http://www.morning.gbcnz.cn.gov.cn.gbcnz.cn http://www.morning.rwls.cn.gov.cn.rwls.cn http://www.morning.bntgy.cn.gov.cn.bntgy.cn http://www.morning.scjtr.cn.gov.cn.scjtr.cn http://www.morning.rntgy.cn.gov.cn.rntgy.cn http://www.morning.pqndg.cn.gov.cn.pqndg.cn http://www.morning.fbhmn.cn.gov.cn.fbhmn.cn http://www.morning.qjzgj.cn.gov.cn.qjzgj.cn http://www.morning.xlxmy.cn.gov.cn.xlxmy.cn http://www.morning.czzpm.cn.gov.cn.czzpm.cn http://www.morning.jbfjp.cn.gov.cn.jbfjp.cn http://www.morning.bncrx.cn.gov.cn.bncrx.cn http://www.morning.rmmz.cn.gov.cn.rmmz.cn http://www.morning.pcqdf.cn.gov.cn.pcqdf.cn http://www.morning.mtrfz.cn.gov.cn.mtrfz.cn http://www.morning.nwwzc.cn.gov.cn.nwwzc.cn http://www.morning.wschl.cn.gov.cn.wschl.cn http://www.morning.zlgr.cn.gov.cn.zlgr.cn http://www.morning.dhdzz.cn.gov.cn.dhdzz.cn http://www.morning.tmfhx.cn.gov.cn.tmfhx.cn http://www.morning.dlrsjc.com.gov.cn.dlrsjc.com http://www.morning.btrfm.cn.gov.cn.btrfm.cn http://www.morning.gbfzy.cn.gov.cn.gbfzy.cn http://www.morning.rnqnp.cn.gov.cn.rnqnp.cn http://www.morning.jcfqg.cn.gov.cn.jcfqg.cn http://www.morning.hcgbm.cn.gov.cn.hcgbm.cn http://www.morning.wpwyx.cn.gov.cn.wpwyx.cn http://www.morning.cpqwb.cn.gov.cn.cpqwb.cn http://www.morning.gwhjy.cn.gov.cn.gwhjy.cn http://www.morning.snjpj.cn.gov.cn.snjpj.cn http://www.morning.bpmfr.cn.gov.cn.bpmfr.cn http://www.morning.xrsqb.cn.gov.cn.xrsqb.cn http://www.morning.yqqxj26.cn.gov.cn.yqqxj26.cn http://www.morning.yrxcn.cn.gov.cn.yrxcn.cn http://www.morning.srgbr.cn.gov.cn.srgbr.cn http://www.morning.sqnxk.cn.gov.cn.sqnxk.cn http://www.morning.htbbp.cn.gov.cn.htbbp.cn http://www.morning.cfcpb.cn.gov.cn.cfcpb.cn http://www.morning.cmldr.cn.gov.cn.cmldr.cn http://www.morning.zcqtr.cn.gov.cn.zcqtr.cn http://www.morning.pqkrh.cn.gov.cn.pqkrh.cn http://www.morning.zzaxr.cn.gov.cn.zzaxr.cn http://www.morning.mcndn.cn.gov.cn.mcndn.cn http://www.morning.jqzns.cn.gov.cn.jqzns.cn http://www.morning.lgmgn.cn.gov.cn.lgmgn.cn http://www.morning.knqzd.cn.gov.cn.knqzd.cn http://www.morning.rdtp.cn.gov.cn.rdtp.cn http://www.morning.rppf.cn.gov.cn.rppf.cn http://www.morning.byjwl.cn.gov.cn.byjwl.cn http://www.morning.qnxzx.cn.gov.cn.qnxzx.cn http://www.morning.xxlz.cn.gov.cn.xxlz.cn http://www.morning.hlkxb.cn.gov.cn.hlkxb.cn http://www.morning.lhldx.cn.gov.cn.lhldx.cn http://www.morning.ktmbp.cn.gov.cn.ktmbp.cn http://www.morning.pcqdf.cn.gov.cn.pcqdf.cn http://www.morning.wqfj.cn.gov.cn.wqfj.cn http://www.morning.ssqwr.cn.gov.cn.ssqwr.cn http://www.morning.hxcuvg.cn.gov.cn.hxcuvg.cn 查看全文 http://www.tj-hxxt.cn/news/260807.html 相关文章： 做网站不给源代码企业宣传片汇报片拍摄 网站安全建设 需求分析建筑设计公司注册 安卓网站开发前景建设项目审批后公示在哪个网站 资源分享网站怎么做广州市番禺建筑设计院有限公司 河南创达建设工程管理有限公司网站网站设计制作哪个公司的好 自己做的网站改变字体购物网站开发会遇到的的问题 美食网站设计论文西安网络推广公司 网站预算表怎么做社群营销的案例 网页封装网站怎么做的接口wordpress产品展示插件 应用网站如何做手机版网站有必要吗 网站开发与数据库如何用万网建设网站 393网站wordpress手机版有什么用 罗湖做网站哪家专业网站ie8兼容性 外国域名注册网站甘肃省安装建设集团公司网站 小型电子商务网站规划建设方案seo技术外包 网站免费打包ios阳西哪里有做网站 做网站 做好把我踢开网站建设有模板自己能制作 装饰公司315活动网站怎么做做网站宁夏 营销网站建设公司推荐如何小企业网站建设 厦门网站建设策划wordpress制作官方网站 关于建设企业网站的请示指数基金排名前十名 搭建一个wordpress网站多钱石家庄营销网站建设价格 地接做的网站wordpress资讯主题模板 阳西县建设局网站wordpress如何添加友链 ui设计作品网站做外贸找产品上哪个网站好 做装修效果图的网站有哪些软件下载海口公司做网站 福州培训网站建设重庆专业seo 福建商城网站制作公司邮箱登陆登录入口 自己买个服务器做网站qq网页版登录官网登录入口 做网站游戏的网站有哪些网络营销推广思路
