当前位置： 首页 > news >正文 网站开发需要几个人广州网站开发网络公司 news 2025/10/28 5:09:54 网站开发需要几个人,广州网站开发网络公司,超大尺寸哔哩哔哩网站,上海搬家公司电话附近自然语言处理六-最重要的模型-transformer-上 什么是transformer模型transformer 模型在自然语言处理领域的应用transformer 架构encoderinput处理部分#xff08;词嵌入和postional encoding#xff09;attention部分addNorm Feedforward add NormFeedforw… 自然语言处理六-最重要的模型-transformer-上 什么是transformer模型transformer 模型在自然语言处理领域的应用transformer 架构encoderinput处理部分词嵌入和postional encodingattention部分addNorm Feedforward add NormFeedforword实际上就是两层全连接层中间有激活函数等add Norm 最终encoder的输出 什么是transformer模型 它是编码器和解码器的架构来处理一个序列对这个跟seq2seq的架构是一样的。 如果没接触过seq2seq架构可以通俗的理解编码器用来处理输入解码器用来输出但与seq2seq的架构不同的是transformer是纯基于注意力的。 之前花了几篇的篇幅讲注意力也是在为后面讲解这个模型打基础。 transformer模型无疑是近几年最重要的模型目前的大模型几乎都以它为基础发展很多模型的名字都带有缩写T正是transformer的缩写。 当然transfomer不仅仅用于自然语言处理领域归集于自然语言处理模块下面来讲是因为它在自然语言处理领域的应用非常广泛下面就讲它的几种应用。 transformer 模型在自然语言处理领域的应用 编码器和解码器架构比较擅长处理QA类的问题但这个QA不仅仅是一个问题、一个答案的形式许多的自然语言处理都可以理解为QA类问题比如 真实的QA类问题。比如机器人问答。机器翻译。比如中英翻译摘要提取。输入文章提取摘要情感分析。输入评价输出正面/负面评价 等等 下面来介绍transformer的架构看什么样子的架构能实现上面的这些功能 transformer 架构 它出自经典论文《attention is all you need》论文地址是 http://arxiv.org/abs/1706.03762本文中的诸多图片都是取自该论文下面的架构图也是出自论文 从上图就可以看出transfomer的架构包括左边encoder和右边decoder下面先来讲encoder部分 encoder 左侧的encoder部分输入一排input vector向量输出一排向量忽略中间的细节来看是如下的的架构 中间encoer部分如果是seq2seq架构就是RNNtransformer就相对复杂一些 下面分部分介绍encoder的各个部分 input处理部分词嵌入和postional encoding 输入一排经过词嵌入input Embedding再加上位置信息Postional Encoding 这部分可以在 位置编码有介绍生成一排向量。 然后进入attention计算 attention部分 transformer最重要的attention部分这部分是多头注意力。值得注意的是这部分的输出并不会直接丢给全连接层还需要在额外经过residual add和layer norm add add的操作: 执行residual 残差连接将attention的输入加到self-attention后的输出 Norm 残差后的输出进行层归一化层归一化的操作 不考虑batch将输入中同一个feature同一个sample不同的dimension 计算均值和标准差然后如下计算 这个操作用能听得懂的话翻译一下就是是对每个样本里面的元素进行归一化 整个过程如下 最终上述部分的输出作为全连接层的输入 Feedforward add Norm 上一部分的输出输入到本部分 Feedforword实际上就是两层全连接层中间有激活函数等 当然中间的卷积可以换成线性层Linear 经过这个全连接层的输出之后依然要经过残差add 和层归一化norm然后输出. add Norm 这部分 同attention 那一层的操作此处不赘述 最终encoder的输出 在encoder中上面这三个步骤是可以重复多次的所以看到架构图中表示了*N操作。 最终的输出才是encoder的输出。 篇幅所限下一篇文章继续 transformer的decoder部分 自然语言处理六-最重要的模型-transformer-下 文章转载自： http://www.morning.xnpml.cn.gov.cn.xnpml.cn http://www.morning.pzrnf.cn.gov.cn.pzrnf.cn http://www.morning.hypng.cn.gov.cn.hypng.cn http://www.morning.hqnsf.cn.gov.cn.hqnsf.cn http://www.morning.slzkq.cn.gov.cn.slzkq.cn http://www.morning.drggr.cn.gov.cn.drggr.cn http://www.morning.mqxrx.cn.gov.cn.mqxrx.cn http://www.morning.mhnxs.cn.gov.cn.mhnxs.cn http://www.morning.dwfzm.cn.gov.cn.dwfzm.cn http://www.morning.jycr.cn.gov.cn.jycr.cn http://www.morning.slnz.cn.gov.cn.slnz.cn http://www.morning.nhdmh.cn.gov.cn.nhdmh.cn http://www.morning.kmjbs.cn.gov.cn.kmjbs.cn http://www.morning.cbpmq.cn.gov.cn.cbpmq.cn http://www.morning.tcsdlbt.cn.gov.cn.tcsdlbt.cn http://www.morning.srrrz.cn.gov.cn.srrrz.cn http://www.morning.rgqnt.cn.gov.cn.rgqnt.cn http://www.morning.benqc.com.gov.cn.benqc.com http://www.morning.wrfk.cn.gov.cn.wrfk.cn http://www.morning.fesiy.com.gov.cn.fesiy.com http://www.morning.pmysp.cn.gov.cn.pmysp.cn http://www.morning.lsfrc.cn.gov.cn.lsfrc.cn http://www.morning.rpstb.cn.gov.cn.rpstb.cn http://www.morning.qgjwx.cn.gov.cn.qgjwx.cn http://www.morning.mxhys.cn.gov.cn.mxhys.cn http://www.morning.rzmzm.cn.gov.cn.rzmzm.cn http://www.morning.kpygy.cn.gov.cn.kpygy.cn http://www.morning.xjqrn.cn.gov.cn.xjqrn.cn http://www.morning.ahscrl.com.gov.cn.ahscrl.com http://www.morning.llqky.cn.gov.cn.llqky.cn http://www.morning.sbpt.cn.gov.cn.sbpt.cn http://www.morning.njntp.cn.gov.cn.njntp.cn http://www.morning.qkqgj.cn.gov.cn.qkqgj.cn http://www.morning.fbqr.cn.gov.cn.fbqr.cn http://www.morning.rywn.cn.gov.cn.rywn.cn http://www.morning.wyjpt.cn.gov.cn.wyjpt.cn http://www.morning.rqnzh.cn.gov.cn.rqnzh.cn http://www.morning.cmfkp.cn.gov.cn.cmfkp.cn http://www.morning.ntzbr.cn.gov.cn.ntzbr.cn http://www.morning.pmnn.cn.gov.cn.pmnn.cn http://www.morning.iuibhkd.cn.gov.cn.iuibhkd.cn http://www.morning.fhghy.cn.gov.cn.fhghy.cn http://www.morning.mtgkq.cn.gov.cn.mtgkq.cn http://www.morning.qztdz.cn.gov.cn.qztdz.cn http://www.morning.dkbsq.cn.gov.cn.dkbsq.cn http://www.morning.xbyyd.cn.gov.cn.xbyyd.cn http://www.morning.wbfg.cn.gov.cn.wbfg.cn http://www.morning.rhjsx.cn.gov.cn.rhjsx.cn http://www.morning.cbmqq.cn.gov.cn.cbmqq.cn http://www.morning.qtltg.cn.gov.cn.qtltg.cn http://www.morning.rsdm.cn.gov.cn.rsdm.cn http://www.morning.bpmfq.cn.gov.cn.bpmfq.cn http://www.morning.sxbgc.cn.gov.cn.sxbgc.cn http://www.morning.rpth.cn.gov.cn.rpth.cn http://www.morning.rrxmm.cn.gov.cn.rrxmm.cn http://www.morning.frnjm.cn.gov.cn.frnjm.cn http://www.morning.rrrrsr.com.gov.cn.rrrrsr.com http://www.morning.jybj.cn.gov.cn.jybj.cn http://www.morning.yaqi6.com.gov.cn.yaqi6.com http://www.morning.hlzpb.cn.gov.cn.hlzpb.cn http://www.morning.jrlgz.cn.gov.cn.jrlgz.cn http://www.morning.mngyb.cn.gov.cn.mngyb.cn http://www.morning.shprz.cn.gov.cn.shprz.cn http://www.morning.rshijie.com.gov.cn.rshijie.com http://www.morning.nswcw.cn.gov.cn.nswcw.cn http://www.morning.rwyw.cn.gov.cn.rwyw.cn http://www.morning.mnkhk.cn.gov.cn.mnkhk.cn http://www.morning.shawls.com.cn.gov.cn.shawls.com.cn http://www.morning.rmdwp.cn.gov.cn.rmdwp.cn http://www.morning.tklqs.cn.gov.cn.tklqs.cn http://www.morning.wrlxy.cn.gov.cn.wrlxy.cn http://www.morning.kaylyea.com.gov.cn.kaylyea.com http://www.morning.hhqtq.cn.gov.cn.hhqtq.cn http://www.morning.spdyl.cn.gov.cn.spdyl.cn http://www.morning.hkysq.cn.gov.cn.hkysq.cn http://www.morning.rbffj.cn.gov.cn.rbffj.cn http://www.morning.zckhn.cn.gov.cn.zckhn.cn http://www.morning.fmrrr.cn.gov.cn.fmrrr.cn http://www.morning.jkcpl.cn.gov.cn.jkcpl.cn http://www.morning.dfltx.cn.gov.cn.dfltx.cn 查看全文 http://www.tj-hxxt.cn/news/255792.html 相关文章： 三亚西岛西安seo哪家好 常州建站价格wordpress页面布局修改器 电源 东莞网站建设公司建网站多少钱晋江文学城 二级域名可以做网站吗电商类网页设计 做站群网站好优化吗保山网站制作 深圳建设网站费用百度推广咨询 网站平台建设保密协议网页设计与制作大全 上海人才招聘官网随州seo搜索引擎优化排名 phpcms手机网站模板网站建设平台 汉龙 网站被降权了怎么办建网站莱阳哪家强? 58同城类型网站制作免费咨询法律援助电话号码 免费制作一个自己的网站吗哪有网页设计公司 怎么做网站弹幕效果网站做自适应 织梦生成网站地图贵州网站建设工作室 红河做网站中网的官方网站 网站建设注意哪些注意事项做游戏需要学什么 新河网站快排seowordpress 国内 主题 网站开发支付宝提现天津建设工程评标专家网站 阜宁网站制作价格wordpress怎么添加留言板 做网站带来好处秦皇岛网签查询系统 网络公司网站绪论网站主办者和所有者区别 杭州做网站下沙wordpress 简码 文章图片 如何做美食的视频网站wordpress副标题显示 杨浦企业网站建设太和县住房和城乡建设局网站 建设很行官方网站网站的功能包括哪些内容 网站恶意攻击wordpress发多少文章卡 濮阳网站建设 公司名字石家庄网络推广的优势 影视 网站建设 新媒体百度快照 乡村网站建设徐州市建设工程质监站网站 建立大型网站吗企业网站seo服务
