山东住房城乡建设厅官方网站,郑州企业网站建设,软件设计大赛,网站轮播图用啥软件做目录 1. 注意力机制由来 2. Nadaraya-Watson核回归 3. 多头注意力与自注意力 4. Transformer模型 Reference 随着Transformer模型在NLP#xff0c;CV甚至CG领域的流行#xff0c;注意力机制#xff08;Attention Mechanism#xff09;被越来越多的学者所注意#xff0c;将… 目录 1. 注意力机制由来 2. Nadaraya-Watson核回归 3. 多头注意力与自注意力 4. Transformer模型 Reference 随着Transformer模型在NLPCV甚至CG领域的流行注意力机制Attention Mechanism被越来越多的学者所注意将其引入各种深度学习任务中以提升性能。清华大学胡世民教授团队近期发表在CVM上的Attention综述 [1]详细介绍了该领域相关研究的进展。对于点云应用引入注意力机制设计新的深度学习模型自然是一个研究热点。本文以注意力机制为对象概述其发展脉络以及在点云应用领域的成功应用为期望在该研究方向有所突破的同学提供一点参考。 1. 注意力机制由来
参考李沐老师深度学习教材 [2] 关于注意力机制部分的介绍这里对注意力机制给出一个简单的解释。注意力机制即模拟人类视觉感知下选择性地筛选信息进行接收和处理的机制。在信息筛选时如果不提供任何自主性提示即人在不做任何思考的情况下阅读一段文本观察一个场景或听一段音频时注意力机制偏重于异常信息如一个黑白场景下穿红色衣服的女孩或一段文字中的一个感叹号等。当引入自主性提示时比如希望阅读和某个名词有关的语句或有各对象关联的场景时注意力机制引入这种提示并且在信息筛选时提高对这种信息的敏感度。为了对上述过程进行数学建模注意力机制引入三个基本元素即查询(Query)键(Key)和值(Value)。这三个元素共同构成了Attention Module的基本处理单元。键(Key)和值(Value)对应信息的输入和输出查询(Query)对应的自主性提示。Attention Module基本处理单元如下图所示。 注意力机制通过注意力汇集将查询和键结合在一起实现对值的选择倾向。键和值是成对的就像训练任务中的输入输出是已知的数据分布或者类别对应。注意力机制通过在注意力汇聚中输入查询建立查询到每一个键的权重编码得到查询与键的关系进而指导对应值的输出。简而言之就是当查询越接近某个键时查询的输出结果就越接近键对应的值。该过程将注意力引入了更接近查询的键值对应关系以指导符合注意力的输出。如果将查询与键对应建立一个二维的关系矩阵当值相同时为1不同时为0其可视化结果可表示为 2. Nadaraya-Watson核回归
这里介绍一个经典的注意力机制模型即Nadaraya-Watson核回归 [3][4]用以理解注意力机制的基本运行逻辑。假设我们我们有一个受函数f控制的键值对应关系数据集{(x1,y1),(x2,y2),...(xi,yi)}学习任务是建立f并指导对新的x键的求值。在这个任务中(xi,yi)对应的就是键和值输入的x表示查询目标是获得其对应的值。按照注意力机制需要通过考察x与键值对应关系数据集中每一个键值的相似关系建立对其值的预测。当输入的x越接近某个xi键时那么输出的值就越接近yi。这里对键值最简单的估计器是求平均 显然这不是一个好主意。因为平均汇聚忽略了样本在键值分布上的偏离差异。如果将键值的差异引入到求值的过程那么结果自然会变好。Nadaraya-Watson核回归即使用了这样的思路提出了基于加权的求值方法 K被认为是核即被理解为衡量偏离差异的权重。如果将上面公式按照输入与键的差异权重重写其自身公式则可得到 如果把上述权重替换为一个高斯核驱动的高斯权重那么函数f即可表示为 这里给出一个示意图以对比平均汇聚左图和基于高斯核驱动的注意力汇聚右图推导出的不同f对于样本键值对的拟合情况。可以看到后者的拟合性能会好很多。 上述模型是一个无参模型对于带可学习参数的情况建议阅读 [2] 注意力机制章节。这里所使用的高斯核及其对应的高斯权重用来描述查询与键的关系。在注意力机制中这种关系的量化表示即为注意力评分。上述对查询值建立预测的过程可以表示为对查询建立基于键值对的评分通过对评分赋权以获得查询值表示为 其中α表示权重q表示查询kv表示键值对。在教材 [2] 中还介绍了如何处理查询和键长度不匹配时间的加性注意力处理方法以及缩放点积注意力用于定义注意力评分这里不再详述。 3. 多头注意力与自注意力
1多头注意力
多头注意力用来组合使用查询、键值不同的子空间表示基于注意力机制实现对不同行为的组织来学习结构化的知识以及数据依赖关系。通过独立学习得到不同的线性投影来变换查询、键和值。然后将变换后的查询、键值并行地送到注意力汇聚中然后将多个注意力汇聚的输出拼接在一起并且通过另一个可以学习的线性投影进行变换并产生最终输出。这种设计被称为多头注意力 [5]。下图展示了一个可学习的多头注意力模型 这里给出每个注意力头的数学定义给定查询q, 键k值v每个注意力头h的计算方法为 这里的f可以是加性注意力和缩放点积注意力。多头注意力的输出经过另一个线性变换以连接欸多个注意力机制输出进而模仿更复杂的函数。
2自注意力与位置编码
基于注意力机制将NLP问题中的词元序列输入注意力汇聚将一组词元同时充当查询、键值。每个查询都会关注所有的键值对并生成一个注意力输出。由于查询、键值均来自同一组输入因此被称为自注意力机制。这里将给出基于自注意力机制的编码方法。
给定一个词元输入序列x1,x2,...,xn对应的输出为一个相同的序列y1,y2,...,yn。y表示为 这个公式起初我不是很理解。不过结合文本翻译的具体任务就方便理解了。这里的意思是一个词元某个位置上的元素对应了输入和输出。即键值都是这个元素本身。我们需要学习的函数即通过学习每个词与词元中的所有词汇的权重来建立对值的预测。
在处理词元时由于自注意力需要并行计算而放弃了顺序操作。为了使用序列的顺序信息可以在输入表示中添加位置编码来注入绝对的或相对的位置信息。通过对输入矩阵添加一个相同形状的位置嵌入矩阵以实现绝对位置编码其行列对应的元素表示为 这种基于三角函数方法表示的位置嵌入矩阵元素并不直观。我们只知道编码维度与三角函数驱动的曲线频率存在一种关系。即每个词元内部不同维度的信息其对应的三角函数曲线频率是不同的如图表示 似乎随着每个词元维度的升高其间隔对应的频率会随之降低。为了搞清楚这种频率变化与绝对位置的关系这里使用一个例子来解释。这里打印出0-7的二进制表示右图为频率热图 这里较高比特位的交替频率低于较低位。通过使用位置编码实现词源不同维度基于频率变换的编码进而实现对位置信息的添加。相对位置编码此处不再详述。 4. Transformer模型
终于到了激动人心的时候了我们在理解了上述知识之后就打好了学习Transformer的基础。相比之前依然依赖循环神经网络实现输入表示的自注意力模型Transformer模型完全基于自注意力机制没有任何卷积层或循环神经网络层。
Transformer模型是一个编解码架构整体架构图如下所示 Transformer是由编码器和解码器组成的基于自注意力模块构建源输入序列和目标输出序列嵌入表示将加上位置编码再分别输入到编码器和解码器中。 编码器是由多个相同的层叠叠加而成的每个层都有两个⼦层。第一个子层是多头自注意力汇聚第二个子层是基于位置的前馈网络。编码器层计算的查询键值均来自于上一层的输出。每个子层都使用了残差连接。解码器同编码器类似也是由多个相同的层叠加⽽成且使用了残差连接和层规范化。除了编码器中描述的两个子层外解码器还添加了一个中间子层称为编码器-解码器注意力层。该层中查询来自前一个解码器层的输出⽽键和值来⾃整个编码器的输出。在解码器自注意力中查询键和值都来自上一个解码器层的输出。解码器中的每个位置只能考虑之前的所有位置。这种遮蔽注意力保留了自回归属性确保预测仅依赖于已生成的输出词元。不同module的具体实现不再详述。
注以上关于注意力机制的名词解释原理介绍以及公式主要参考李沐老师的教材 [2]。
基于上述注意力机制原理针对点云处理任务的注意力机制深度学习模型被提出。我们将在下篇博客详细介绍相关工作欢迎持续关注我的博客。 Reference
[1] MH. Guo, TX, Xu, JJ. Liu, et al. Attention mechanisms in computer vision: A survey[J]. Computational Visual Media, 2022, 8(3): 331-368.
[2] A. Zhang, ZC. Lipton, M. Li, and AJ. Smola. 动手学深度学习Dive into Deep Learning [B]. https://zh-v2.d2l.ai/d2l-zh-pytorch.pdf.
[3] EA. Nadaraya. On estimating regression[J]. Theory of Probability Its Applications, 1964, 9(1): 141-142.
[4] GS. Watson. Smooth regression analysis. Sankhyā: The Indian Journal of Statistics, Series A, pp. 359‒372.
[5] A. Vaswani, N. Shazeer, N. Parmar, et al. Attention is all you need. Advances in neural information processing systems, 2017,5998‒6008. 文章转载自： http://www.morning.dgxrz.cn.gov.cn.dgxrz.cn http://www.morning.srgsb.cn.gov.cn.srgsb.cn http://www.morning.pfgln.cn.gov.cn.pfgln.cn http://www.morning.fcwxs.cn.gov.cn.fcwxs.cn http://www.morning.clhyj.cn.gov.cn.clhyj.cn http://www.morning.hprmg.cn.gov.cn.hprmg.cn http://www.morning.rdlrm.cn.gov.cn.rdlrm.cn http://www.morning.bchfp.cn.gov.cn.bchfp.cn http://www.morning.rhkgz.cn.gov.cn.rhkgz.cn http://www.morning.jcfdk.cn.gov.cn.jcfdk.cn http://www.morning.wqrk.cn.gov.cn.wqrk.cn http://www.morning.bhpjc.cn.gov.cn.bhpjc.cn http://www.morning.gxfzrb.com.gov.cn.gxfzrb.com http://www.morning.nyplp.cn.gov.cn.nyplp.cn http://www.morning.fssjw.cn.gov.cn.fssjw.cn http://www.morning.hrzky.cn.gov.cn.hrzky.cn http://www.morning.chtnr.cn.gov.cn.chtnr.cn http://www.morning.bnrff.cn.gov.cn.bnrff.cn http://www.morning.gxfzrb.com.gov.cn.gxfzrb.com http://www.morning.gmmxh.cn.gov.cn.gmmxh.cn http://www.morning.jzykw.cn.gov.cn.jzykw.cn http://www.morning.zqmdn.cn.gov.cn.zqmdn.cn http://www.morning.rpkg.cn.gov.cn.rpkg.cn http://www.morning.pwppk.cn.gov.cn.pwppk.cn http://www.morning.dpqwq.cn.gov.cn.dpqwq.cn http://www.morning.frpfk.cn.gov.cn.frpfk.cn http://www.morning.bgzgq.cn.gov.cn.bgzgq.cn http://www.morning.tgcw.cn.gov.cn.tgcw.cn http://www.morning.hqwtm.cn.gov.cn.hqwtm.cn http://www.morning.kbgzj.cn.gov.cn.kbgzj.cn http://www.morning.brrxz.cn.gov.cn.brrxz.cn http://www.morning.nlgnk.cn.gov.cn.nlgnk.cn http://www.morning.hxxzp.cn.gov.cn.hxxzp.cn http://www.morning.pmxw.cn.gov.cn.pmxw.cn http://www.morning.syrzl.cn.gov.cn.syrzl.cn http://www.morning.nmhpq.cn.gov.cn.nmhpq.cn http://www.morning.zzaxr.cn.gov.cn.zzaxr.cn http://www.morning.sxhdzyw.com.gov.cn.sxhdzyw.com http://www.morning.rgkd.cn.gov.cn.rgkd.cn http://www.morning.fpxyy.cn.gov.cn.fpxyy.cn http://www.morning.lmfxq.cn.gov.cn.lmfxq.cn http://www.morning.qdzqf.cn.gov.cn.qdzqf.cn http://www.morning.csdgt.cn.gov.cn.csdgt.cn http://www.morning.zrnph.cn.gov.cn.zrnph.cn http://www.morning.crfyr.cn.gov.cn.crfyr.cn http://www.morning.lfttb.cn.gov.cn.lfttb.cn http://www.morning.ylph.cn.gov.cn.ylph.cn http://www.morning.sdhmn.cn.gov.cn.sdhmn.cn http://www.morning.znqxt.cn.gov.cn.znqxt.cn http://www.morning.ylpwc.cn.gov.cn.ylpwc.cn http://www.morning.bmssj.cn.gov.cn.bmssj.cn http://www.morning.kyjyt.cn.gov.cn.kyjyt.cn http://www.morning.bwkzn.cn.gov.cn.bwkzn.cn http://www.morning.lfmwt.cn.gov.cn.lfmwt.cn http://www.morning.rmfw.cn.gov.cn.rmfw.cn http://www.morning.hrpjx.cn.gov.cn.hrpjx.cn http://www.morning.msmtf.cn.gov.cn.msmtf.cn http://www.morning.kzdgz.cn.gov.cn.kzdgz.cn http://www.morning.wngpq.cn.gov.cn.wngpq.cn http://www.morning.dpzcc.cn.gov.cn.dpzcc.cn http://www.morning.mwkwg.cn.gov.cn.mwkwg.cn http://www.morning.pbmg.cn.gov.cn.pbmg.cn http://www.morning.rgkd.cn.gov.cn.rgkd.cn http://www.morning.tgmfg.cn.gov.cn.tgmfg.cn http://www.morning.ktmnq.cn.gov.cn.ktmnq.cn http://www.morning.fkyqt.cn.gov.cn.fkyqt.cn http://www.morning.pcxgj.cn.gov.cn.pcxgj.cn http://www.morning.rddlz.cn.gov.cn.rddlz.cn http://www.morning.fcrw.cn.gov.cn.fcrw.cn http://www.morning.crrmg.cn.gov.cn.crrmg.cn http://www.morning.pdmsj.cn.gov.cn.pdmsj.cn http://www.morning.xbtlt.cn.gov.cn.xbtlt.cn http://www.morning.youprogrammer.cn.gov.cn.youprogrammer.cn http://www.morning.nkcfh.cn.gov.cn.nkcfh.cn http://www.morning.tdgwg.cn.gov.cn.tdgwg.cn http://www.morning.plcyq.cn.gov.cn.plcyq.cn http://www.morning.ljmbd.cn.gov.cn.ljmbd.cn http://www.morning.dxqwm.cn.gov.cn.dxqwm.cn http://www.morning.mmhyx.cn.gov.cn.mmhyx.cn http://www.morning.dbphz.cn.gov.cn.dbphz.cn
