当前位置： 首页 > news >正文 自学考试网站建设与管理长沙百度快速优化排名 news 2025/11/5 15:01:41 自学考试网站建设与管理,长沙百度快速优化排名,重庆网站供奉战犯,长沙网站建设营销为什么需要位置表示 对比CNN、RNN和Self-Attention: CNN处理相邻窗口的内容#xff1b;RNN天然是序列操作#xff0c;考虑了位置先后关系#xff1b;Self-Attention的计算时是无序的#xff0c;所以需要位置表示来知道Token之间的位置信息。 绝对位置表示 典型如#xf…为什么需要位置表示 对比CNN、RNN和Self-Attention: CNN处理相邻窗口的内容RNN天然是序列操作考虑了位置先后关系Self-Attention的计算时是无序的所以需要位置表示来知道Token之间的位置信息。 绝对位置表示 典型如Bert/Roberta/GPT2的位置表示将位置如 0512 像词一样做embedding需要训练position向量矩阵 不同模型训练出来的位置表示之间的相似性对角线是1 优势简单 劣势无法处理超出长度的句子必须截断 相对位置表示 位置n的旋转位置编码RoPE本质上就是数字n的β进制编码- 苏剑林 为什么需要进制编码我们先看进制编码的格式 我们再回到RoPE的公式pos是位置i是表示向量的维度 令 \beta10000^2那么RoPE就是下面这种表示也就是完整的进制编码表示 我们再看下位置表示的可视化发现当表示向量的维度上升曲线更加稠密 为什么要用周期进制表示 进制在表示相对位置时和绝对位置表示是一样的效果如「我们知道10的相邻数据是9和11」 周期进制表示方式更加的稠密就像10/16进制一样进制越高表示信息越大 周期进制可以做推理假设我们已经学习过0200的表示那么对于200299直接就知道他们的位置和关系甚至于200999也是可以直接知道含义的 如何扩展位置表示 直接外推 如果我们学习过position 在0200之间的表示那么对于200299的长度可以直接扩展甚至 200999的位置表示也可以直接外推。但是如果是1000以上的范围那么效果就不好了因为千位的维度没有训练过。 优点是在预留的维度上是可以直接外推不需要训练的 缺点超出范围的性能下降极大 线性内插 如果我们学习过position 在0200之间的表示我们需要表示更长一种是我们每隔0.5就做一个表示这样表示能力扩展到 0400了这样还是保持学习范围之内但是问题是表示更加拥挤当处理范围进一步增大时相邻差异则更小这样位置表示的作用就减弱了。 优点是原则上可以无限内插下去 缺点差异小了PE的效果降低 Neural Tangent Kernel—NTK-aware 内插 外插叠加在低位的时候基本和原来一致不影响原始表示这个就是外插在高位的时候往里面内插虽然信息降低但是也可以表示 文章转载自： http://www.morning.rmfh.cn.gov.cn.rmfh.cn http://www.morning.dbcw.cn.gov.cn.dbcw.cn http://www.morning.ztqyj.cn.gov.cn.ztqyj.cn http://www.morning.xdxpq.cn.gov.cn.xdxpq.cn http://www.morning.glpxx.cn.gov.cn.glpxx.cn http://www.morning.qbccg.cn.gov.cn.qbccg.cn http://www.morning.srnth.cn.gov.cn.srnth.cn http://www.morning.pphgl.cn.gov.cn.pphgl.cn http://www.morning.mnkhk.cn.gov.cn.mnkhk.cn http://www.morning.bfkrf.cn.gov.cn.bfkrf.cn http://www.morning.mknxd.cn.gov.cn.mknxd.cn http://www.morning.xxrgt.cn.gov.cn.xxrgt.cn http://www.morning.nrzbq.cn.gov.cn.nrzbq.cn http://www.morning.bdsyu.cn.gov.cn.bdsyu.cn http://www.morning.prmbn.cn.gov.cn.prmbn.cn http://www.morning.psdsk.cn.gov.cn.psdsk.cn http://www.morning.rxdsq.cn.gov.cn.rxdsq.cn http://www.morning.kqfdrqb.cn.gov.cn.kqfdrqb.cn http://www.morning.guofenmai.cn.gov.cn.guofenmai.cn http://www.morning.fktlr.cn.gov.cn.fktlr.cn http://www.morning.fyxr.cn.gov.cn.fyxr.cn http://www.morning.kzslk.cn.gov.cn.kzslk.cn http://www.morning.wfspn.cn.gov.cn.wfspn.cn http://www.morning.sqlh.cn.gov.cn.sqlh.cn http://www.morning.knnc.cn.gov.cn.knnc.cn http://www.morning.ddxjr.cn.gov.cn.ddxjr.cn http://www.morning.lmpfk.cn.gov.cn.lmpfk.cn http://www.morning.rkrcd.cn.gov.cn.rkrcd.cn http://www.morning.stlgg.cn.gov.cn.stlgg.cn http://www.morning.chehb.com.gov.cn.chehb.com http://www.morning.yybcx.cn.gov.cn.yybcx.cn http://www.morning.rnzjc.cn.gov.cn.rnzjc.cn http://www.morning.rdymd.cn.gov.cn.rdymd.cn http://www.morning.ypbp.cn.gov.cn.ypbp.cn http://www.morning.fsbns.cn.gov.cn.fsbns.cn http://www.morning.ljdtn.cn.gov.cn.ljdtn.cn http://www.morning.qmrsf.cn.gov.cn.qmrsf.cn http://www.morning.wrlqr.cn.gov.cn.wrlqr.cn http://www.morning.wsjnr.cn.gov.cn.wsjnr.cn http://www.morning.xxgfl.cn.gov.cn.xxgfl.cn http://www.morning.cffwm.cn.gov.cn.cffwm.cn http://www.morning.cfynn.cn.gov.cn.cfynn.cn http://www.morning.mbaiwan.com.gov.cn.mbaiwan.com http://www.morning.dlmqn.cn.gov.cn.dlmqn.cn http://www.morning.ywpcs.cn.gov.cn.ywpcs.cn http://www.morning.cnfjs.cn.gov.cn.cnfjs.cn http://www.morning.yxplz.cn.gov.cn.yxplz.cn http://www.morning.jgttx.cn.gov.cn.jgttx.cn http://www.morning.qjxkx.cn.gov.cn.qjxkx.cn http://www.morning.wnkqt.cn.gov.cn.wnkqt.cn http://www.morning.zdzgf.cn.gov.cn.zdzgf.cn http://www.morning.wwznd.cn.gov.cn.wwznd.cn http://www.morning.cwqrj.cn.gov.cn.cwqrj.cn http://www.morning.qdrhf.cn.gov.cn.qdrhf.cn http://www.morning.zrlwl.cn.gov.cn.zrlwl.cn http://www.morning.xmrmk.cn.gov.cn.xmrmk.cn http://www.morning.flmxl.cn.gov.cn.flmxl.cn http://www.morning.jlgjn.cn.gov.cn.jlgjn.cn http://www.morning.rttp.cn.gov.cn.rttp.cn http://www.morning.wnkjb.cn.gov.cn.wnkjb.cn http://www.morning.prsxj.cn.gov.cn.prsxj.cn http://www.morning.nfks.cn.gov.cn.nfks.cn http://www.morning.guofenmai.cn.gov.cn.guofenmai.cn http://www.morning.syqtt.cn.gov.cn.syqtt.cn http://www.morning.srsln.cn.gov.cn.srsln.cn http://www.morning.sjqml.cn.gov.cn.sjqml.cn http://www.morning.rlns.cn.gov.cn.rlns.cn http://www.morning.nafdmx.cn.gov.cn.nafdmx.cn http://www.morning.ntqqm.cn.gov.cn.ntqqm.cn http://www.morning.lctrz.cn.gov.cn.lctrz.cn http://www.morning.gbyng.cn.gov.cn.gbyng.cn http://www.morning.sfwd.cn.gov.cn.sfwd.cn http://www.morning.wmdbn.cn.gov.cn.wmdbn.cn http://www.morning.mcpby.cn.gov.cn.mcpby.cn http://www.morning.psxcr.cn.gov.cn.psxcr.cn http://www.morning.xpzgg.cn.gov.cn.xpzgg.cn http://www.morning.qnpyz.cn.gov.cn.qnpyz.cn http://www.morning.czlzn.cn.gov.cn.czlzn.cn http://www.morning.fbmrz.cn.gov.cn.fbmrz.cn http://www.morning.dgwrz.cn.gov.cn.dgwrz.cn 查看全文 http://www.tj-hxxt.cn/news/279712.html 相关文章： 网站建设的网络技术学校网站设计方案模板 泉州网站制作企业东莞城乡建设网站 网站素材 图标网站建设广告素材 网站建设开发价格怎么算腾讯云服务器学生 网站收录和反链都正常关键词却没有排名的原因修机械师怎么做我小样网站角仰望 公司宣传网站制作龙南黄页全部电话 网站开发费记什么会计科目福州网站建设找百诚互联 在线室内设计网站上海上市公司排名 深圳做企业网站的公司美化版wordpress 上海网站推广大全wordpress 微信打不开 做网站 中文字体是用什么微信开发页面 网站设计师工作内容WordPress标签图像 山东省乡镇网站建设上海网站优化推广 怎么做seo网站关键词优化邯郸市教育考试院 货运公司网站源码定制电商平台 网站制作 常州企业信用信息网 向国旗敬礼做美德少年网站wordpress后台中文安装 网站所需的主要功能做学术用的网站 php网站文件夹结构wordpress 自定义结构 标题 徐州网站开发服务淘宝店铺怎么推广和引流 网站建设实训报告模板网站类型有哪些 o2o网站建设效果内部局域网怎么搭建 网站建设类公wordpress列表页调用 关于节约化建设网站的表态发言找事情做的网站 营销型网站平台建设网址导航网站如何做 淄博网站建设讲解透彻wordpress的主题在哪个文件夹 广东建设银行招聘网站网架加工价格 服装网站模板下载大型网络游戏 高端网站的建设网站简繁体转换.rar 南昌网站建设南昌吊车出租湖南长沙旅游十大必去景区
