当前位置： 首页 > news >正文 wordpress 搜索增强seo网站首页推广 news 2025/10/30 14:18:48 wordpress 搜索增强,seo网站首页推广,新版在线天堂网,seo+网站排名自注意力机制开启大规模预训练时代 1 从机器翻译模型举例 1.1把编码器和解码器联合起来看待的话，则整个流程就是（如下图从左至右所示）： 1.首先，从编码器输入的句子会先经过一个自注意力层（即self-attention），它会帮助编码器在对每个单词编码时关注输入句子中的的其他单…自注意力机制开启大规模预训练时代 1 从机器翻译模型举例 1.1把编码器和解码器联合起来看待的话，则整个流程就是（如下图从左至右所示）： 1.首先，从编码器输入的句子会先经过一个自注意力层（即self-attention），它会帮助编码器在对每个单词编码时关注输入句子中的的其他单词 2.接下来，自注意力层的输出会传递到前馈(feed-forward)神经网络中，每个位置的单词对应的前馈神经网络的结构都完全一样（仅结构相同，但各自的参数不同） 3.最后，流入解码器中，解码器中除了也有自注意力层、前馈层外，这两个层之间还有一个编码-解码注意力层，用来关注输入句子的相关部分（和seq2seq模型的注意力作用相似） 1.2把编码器和编码器联合起来看待的话，则整个流程就是（如下图从下至上所示）： 1.最底下的编码器接收的是嵌入向量，之后的编码器接收的是前一个编码器的输出 2.输入序列中每个位置的单词都各自单独的路径流入编码器，即各个单词同时流入编码器中，不是排队进入. 3.在自注意力self-attention层中，这些路径两两之间是相互依赖的，而前馈层(feed-forward）则没有这些依赖性，所以这些路径在流经前馈层(feed-forward)时可以并行计算 1.1 自注意力机制计算 在Transformer中，自注意力机制则将对其他单词的“理解”融入到当前处理的单词中。当模型处理每个位置的词时，self-attention允许模型看到句子中其他位置有关联或相似的单词/信息作为辅助线索，以更好地编码当前单词。 重要程度便用所谓的权重表示(权重来自于该词/向量本身跟其他各个词/向量之间的相似度)，权重越大的单词代表与『该词』越相关(某种意义上可以认为是越相似)，从而对理解『该词』越重要，然后把该词编码为包括该词在内所有词的加权和 计算自注意力有两种方式：一种通过向量，一种通过矩阵。 1.3.1 计算自注意力第一步：生成查询向量、键向量和值向量 从每个编码器的输入向量(即每个单词的词向量)生成三个向量：查询向量query-vec、键向量key-vec、值向量value-vec ，这三个向量的生成方法是把输入的向量分别乘以三个不同的权重矩阵、、，得到Q、K、V，而这些权重矩阵是在模型训练阶段中训练出来的「最后通过反向传播不断优化学习得出」。举例说明，在我们有了权重矩阵后，对于单词、分别而言 文章转载自： http://www.morning.spbp.cn.gov.cn.spbp.cn http://www.morning.wqbbc.cn.gov.cn.wqbbc.cn http://www.morning.wtsr.cn.gov.cn.wtsr.cn http://www.morning.csjps.cn.gov.cn.csjps.cn http://www.morning.qdzqf.cn.gov.cn.qdzqf.cn http://www.morning.sfsjh.cn.gov.cn.sfsjh.cn http://www.morning.hqwxm.cn.gov.cn.hqwxm.cn http://www.morning.glnmm.cn.gov.cn.glnmm.cn http://www.morning.lskrg.cn.gov.cn.lskrg.cn http://www.morning.fhtbk.cn.gov.cn.fhtbk.cn http://www.morning.lmqw.cn.gov.cn.lmqw.cn http://www.morning.wnwjf.cn.gov.cn.wnwjf.cn http://www.morning.mnwsy.cn.gov.cn.mnwsy.cn http://www.morning.qwmdx.cn.gov.cn.qwmdx.cn http://www.morning.gfpyy.cn.gov.cn.gfpyy.cn http://www.morning.lsmnn.cn.gov.cn.lsmnn.cn http://www.morning.dxqfh.cn.gov.cn.dxqfh.cn http://www.morning.tfwg.cn.gov.cn.tfwg.cn http://www.morning.tslfz.cn.gov.cn.tslfz.cn http://www.morning.dwzwm.cn.gov.cn.dwzwm.cn http://www.morning.bpmdg.cn.gov.cn.bpmdg.cn http://www.morning.xhjjs.cn.gov.cn.xhjjs.cn http://www.morning.pqcrz.cn.gov.cn.pqcrz.cn http://www.morning.wqbfd.cn.gov.cn.wqbfd.cn http://www.morning.lonlie.com.gov.cn.lonlie.com http://www.morning.drndl.cn.gov.cn.drndl.cn http://www.morning.dzgyr.cn.gov.cn.dzgyr.cn http://www.morning.mtsck.cn.gov.cn.mtsck.cn http://www.morning.gsjzs.cn.gov.cn.gsjzs.cn http://www.morning.mbaiwan.com.gov.cn.mbaiwan.com http://www.morning.qrmyd.cn.gov.cn.qrmyd.cn http://www.morning.rqjxc.cn.gov.cn.rqjxc.cn http://www.morning.jppdk.cn.gov.cn.jppdk.cn http://www.morning.qfkxj.cn.gov.cn.qfkxj.cn http://www.morning.smxyw.cn.gov.cn.smxyw.cn http://www.morning.gxtfk.cn.gov.cn.gxtfk.cn http://www.morning.jfxdy.cn.gov.cn.jfxdy.cn http://www.morning.znqfc.cn.gov.cn.znqfc.cn http://www.morning.xkyst.cn.gov.cn.xkyst.cn http://www.morning.xbwqg.cn.gov.cn.xbwqg.cn http://www.morning.ddrdt.cn.gov.cn.ddrdt.cn http://www.morning.hqgkx.cn.gov.cn.hqgkx.cn http://www.morning.gblrn.cn.gov.cn.gblrn.cn http://www.morning.hlmkx.cn.gov.cn.hlmkx.cn http://www.morning.yslfn.cn.gov.cn.yslfn.cn http://www.morning.xrksf.cn.gov.cn.xrksf.cn http://www.morning.ylklr.cn.gov.cn.ylklr.cn http://www.morning.lqgfm.cn.gov.cn.lqgfm.cn http://www.morning.diuchai.com.gov.cn.diuchai.com http://www.morning.ltqzq.cn.gov.cn.ltqzq.cn http://www.morning.hxlpm.cn.gov.cn.hxlpm.cn http://www.morning.lsgjf.cn.gov.cn.lsgjf.cn http://www.morning.xysxj.com.gov.cn.xysxj.com http://www.morning.jkfyt.cn.gov.cn.jkfyt.cn http://www.morning.hxmqb.cn.gov.cn.hxmqb.cn http://www.morning.rbhqz.cn.gov.cn.rbhqz.cn http://www.morning.lanyee.com.cn.gov.cn.lanyee.com.cn http://www.morning.ykqbs.cn.gov.cn.ykqbs.cn http://www.morning.pcshb.cn.gov.cn.pcshb.cn http://www.morning.nbnpb.cn.gov.cn.nbnpb.cn http://www.morning.lmknf.cn.gov.cn.lmknf.cn http://www.morning.ktnt.cn.gov.cn.ktnt.cn http://www.morning.bxrqf.cn.gov.cn.bxrqf.cn http://www.morning.txgjx.cn.gov.cn.txgjx.cn http://www.morning.fsjcn.cn.gov.cn.fsjcn.cn http://www.morning.krdxz.cn.gov.cn.krdxz.cn http://www.morning.dwfxl.cn.gov.cn.dwfxl.cn http://www.morning.lxfqc.cn.gov.cn.lxfqc.cn http://www.morning.skpdg.cn.gov.cn.skpdg.cn http://www.morning.pwdgy.cn.gov.cn.pwdgy.cn http://www.morning.wncb.cn.gov.cn.wncb.cn http://www.morning.jwlmm.cn.gov.cn.jwlmm.cn http://www.morning.snccl.cn.gov.cn.snccl.cn http://www.morning.sgfpn.cn.gov.cn.sgfpn.cn http://www.morning.qckwj.cn.gov.cn.qckwj.cn http://www.morning.iqcge.com.gov.cn.iqcge.com http://www.morning.wsyst.cn.gov.cn.wsyst.cn http://www.morning.hnrdtz.com.gov.cn.hnrdtz.com http://www.morning.wbfly.cn.gov.cn.wbfly.cn http://www.morning.jkwwm.cn.gov.cn.jkwwm.cn 查看全文 http://www.tj-hxxt.cn/news/262545.html 相关文章： 外贸网站建设课本做网站的总要求上门 做学校网站导航条应该有哪些卖域名出去客户犯法怎么办 百度收录网站标题常州知名做网站服务 网站建立安全连接失败北京的软件公司 一级建造师求职网江阴网站优化公司 html网站建设流程江苏短视频seo搜索 中国建设银行征信网站怎么做app网站 网站建设一般要素中国监理建设注册网站 cms网站模板下载为什么建设银行的网站打不开 塘厦网站建设公司网站建设各语言优点 玉溪网站建设网站建设做地方网站赚钱吗 网站logo怎么修改如何做全景网站 化学药品购买网站海报模板在线制作免费无水印 网站不足之处公司网络组建设计 深圳市土方建设网站如何自助建网站 微信公众号制作网站用php做一网站有哪些东西 高端网站建设多少钱中国楼市最新消息已出 成都网站建设公司是什么计算机外包公司 义乌网站设计wordpress会计模板下载 如何介绍一个网站的促销功能昆明网站建设哪家公司好 新乡微网站建设wordpress文章图片显示图片 成都 企业网站设计长兴网站建设列举企业网站建设有哪些好处 大城网站制作网站建设毕业设计说明书word文档 福安建设网站淘客优惠券网站建设 自助快速建站网页升级未成年人自觉离开 制作一个网站怎么做的wordpress友链顺序 做微信文章的网站陕西省城乡建设厅的网站 腾讯风铃做的网站有期限吗没有网站可以做网络推广吗 常州高端网站建设wordpress 能承受多大并发访问量 ui设计主要是做什么的南昌百度推广优化排名
