做标书的视频网站,如何做网站流量分析,c2c定义,单机游戏制作软件文章目录 摘要Abstract文献阅读题目创新点CROSSFORMER架构跨尺度嵌入层#xff08;CEL#xff09;CROSSFORMER BLOCK长短距离注意#xff08;LSDA#xff09;动态位置偏置#xff08;DPB#xff09; 实验 深度学习CrossFormer背景维度分段嵌入#xff08;DSW#xff09… 文章目录 摘要Abstract文献阅读题目创新点CROSSFORMER架构跨尺度嵌入层CELCROSSFORMER BLOCK长短距离注意LSDA动态位置偏置DPB 实验 深度学习CrossFormer背景维度分段嵌入DSW两阶段注意力层TSA分层encoder-decoder表现超参数调整 总结 摘要
本周阅读了一篇以跨尺度注意力为基础的通用视觉Transformer器的文章文中提出了跨尺度嵌入层CEL和长短距离注意LSDA。不仅减少了计算负担而且在嵌入中同时保留了小尺度和大尺度特征。通过以上两种设计实现了跨尺度注意。大量的实验表明CrossFormer在图像分类、对象检测、实例分割和语义分割任务上优于其他视觉转换器。此外对CrossFormer进行更近一步的学习。
Abstract
This week, an article about a universal visual Transformer based on cross-scale attention is readed, in which cross-scale embedding layer (CEL) and long-short distance attention (LSDA) are proposed. It not only reduces the computational burden, but also preserves both small-scale and large-scale features in embedding. Through the above two designs, cross-scale attention is realized. A large number of experiments show that CrossFormer is superior to other visual converters in image classification, object detection, instance segmentation and semantic segmentation. In addition, learn more about CrossFormer.
文献阅读
题目
CROSSFORMER: AVERSATILE VISION TRANSFORMER HINGING ON CROSS-SCALE ATTENTION
创新点
1 提出了跨尺度嵌入层CEL和长短距离注意LSDA它们共同弥补了现有变压器无法建立跨尺度注意的缺陷。 2 进一步提出了动态位置偏置模块DPB以使相对位置偏置更加灵活即适应可变的图像大小或组大小。 3 构建了多个不同大小的CrossFormers并通过四个代表性视觉任务的充分实验证实了它们的有效性。
CROSSFORMER架构
CrossFormer的整体架构如图所示
左图(a)用于分类的CrossFormer的架构。输入大小为H0 ×W0每个阶段的特征图大小显示在顶部。阶段i由CEL和ni CrossFormer块组成。CEL中的数字表示用于对补丁进行采样的内核大小。 右图(b)两个连续CrossFormer块的内部结构。SDA和LDA交替出现在不同的区块中。
CrossFormer采用了金字塔结构将Transformer模型分为四个阶段。每个阶段由一个跨尺度嵌入层CEL和几个CrossFormer块组成。CEL接收最后一级的输出或输入图像作为输入并生成跨尺度嵌入。在这个过程中CEL除了第1阶段将嵌入的数量减少到四分之一同时将金字塔结构的维度增加一倍。然后在CEL之后建立多个CrossFormer模块每个模块都涉及长短距离注意LSDA和动态位置偏差DPB。
跨尺度嵌入层CEL
跨尺度嵌入层CEL被用来为每个阶段生成输入嵌入。图2以第一个CEL为例
输入图像由四个不同的核采样即4 × 48 × 816 × 1632 × 32步幅相同4 × 4。每个嵌入都是通过投影和连接四个补丁来构建的。Dt表示嵌入的总维数。
CROSSFORMER BLOCK
每个CrossFormer模块由长短距离注意模块即LSDA其涉及短距离注意SDA模块或长距离注意LDA模块和多层感知器MLP。如图1b所示SDA和LDA交替出现在不同的块中动态位置偏置DPB模块在SDA和LDA中工作以获得嵌入的位置表示。在先前的视觉变换器之后在每个块中使用剩余连接。
长短距离注意LSDA
将自我注意模块分为两部分短距离注意SDA和长距离注意LDA。对于SDA每个G×G相邻嵌入被分组在一起。图3a给出了G 3的示例。对于输入大小为S × S的LDA嵌入以固定间隔I采样。例如在图3bI 3中所有带有红色边框的嵌入都属于一个组而那些带有黄色边框的嵌入则组成另一个组。LDA的组的高度或宽度被计算为G S/I即在这个例子中G 3。在分组嵌入之后SDA和LDA都在每个组内使用香草自我注意。因此自注意模块的存储/计算成本从OS4降低到OS2 G2并且在大多数情况下G S。
动态位置偏置DPB
相对位置偏差RPB通过在嵌入者的注意力上增加一个偏差来表示嵌入者的相对位置
提出了一个基于MLP的模块DPB来动态生成相对位置偏差
实验
实验进行了四个具有挑战性的任务图像分类对象检测实例分割语义分割。 图像分类 结果示于表2中
CrossFormer实现了与其他最先进的视觉Transformer结构相媲美的参数和FLOP的最高精度。具体而言与强大的基线DeiTPVT和Swin相比我们的CrossFormer在小模型上的准确性至少绝对优于它们1.2%。此外虽然RegionViT在小模型上达到了与我们相同的准确度82.5%但在大模型上绝对低于我们的0.7%84.0% vs. 83.3%。 目标检测和实例分割 关于对象检测和实例分割的实验都是在COCO 2017数据集上完成的Lin et al.2014其中包含118K训练和5K瓦尔图像。结果RetinaNet和Mask R-CNN的结果分别见表3和表4
语义分割 结果示于表5中。与对象检测类似CrossFormer在扩大模型时表现出更大的性能增益
深度学习
CrossFormer
背景
现有的Transformer类模型变体主要都是侧重于捕捉时间序列的跨时间依赖性而忽略了变量之间的跨维度依赖性。Crossformer这是一个基于Transformer的模型考虑了跨维度依赖性。
主要设计了三大结构 1维度分段嵌入DSW负责保留时间和维度信息。每个维度的序列被分割成段嵌入到特征向量中。 2两阶段注意力TSA有效捕捉跨时间和跨维度依赖性。 3分层encoder-decoderHED每一层对应一个尺度encoder上层捕捉较粗尺度的依赖性decoder生成不同尺度的预测并加总作为最终预测。
以往Transformer变体在做多变量时间序列预测的时候位于同一个时间步不同维度的数据是直接嵌入到同一个向量中的如此一来计算向量之间的注意力就只能捕捉到时间步上的区别如图b。图a所示的是在ETTh1数据集上训练的注意力图可以看到注意力值有明显的分段且相近的数据点的注意力权重相似。 故CrossFormer作者认为每个维度的序列在不同时间步上应该被分割成好几段来嵌入而不是单个时间步表示所有维度的嵌入如图c。
维度分段嵌入DSW 两阶段注意力层TSA
对于获得的二维数组H直接应用自注意力会产生二次方的复杂度因此通过两阶段注意力层捕获二维数组跨时间和跨维度的依赖性。 1、 跨时间阶段直接将多头自注意力应用于每个维度
2、 跨维度阶段该阶段直接对每个维度间应用多头自注意力会导致O(D2)的复杂性对每个时间步i设置固定数量的可学习向量作为路由器让信息先与中间少量路由器聚合再进行信息传递减少注意力计算的复杂度。
首先将路由器R作为多头自注意力的query、所有维度的向量Z作为key和value聚合来自所有维度的信息B然后将维度向量Z作为query、聚合的信息B作为key和value进行聚合作为路由器在维度之间分发收到的信息。 最终路由器机制将复杂度从O(D2L)降到O(DL)。
两阶段注意力层的最终输出为Y总计算复杂度为O(DL2DL)O(DL2)
分层encoder-decoder
通过DSW嵌入、TSA层以上两个结构作者加入序列段的合并来构建分层的encoder- decoder。
将Z与可学习的权重矩阵W相乘得到L层第i个分段的预测值对所有层预测值相加得到最终预测。
表现
Crossformer在大多数数据集以及预测长度上都表现出较好的性能在58个案例中有36个排名第一51个排名第二。其次 FEDfrmer 和 MTGNN 的表现也优于许多baseline。
消融实验DSW、TSA、HED 1DSW嵌入因考虑了跨维度依赖性在大多数情况下比Transformer原始嵌入方法表现得更好。 2TSA两阶段注意力分开考虑了时间和维度提高了预测精度。 3HED在短期预测中降低了精度而在长期预测中HED包含不同尺度的信息提高了精度。 三者结合效果最佳
超参数调整
1分段长度Lseg对于短期预测24、48较小的分段效果越好预测精度总体较稳定。对于长期预测168以上随着分段长度从4到24 MSE下降即分段长度越长适合长期预测。 2路由器个数c在预测长度336之前随着c变化MSE较稳定当预测长度720时随着c增加MSE趋于下降。选择c10来平衡预测精度和计算效率。
计算效率分析 Crossformer encoder的复杂度是二次方但可以使用较大的分段长度Lseg进行长期预测来降低复杂度化掉分母。
消融版本随着维度D增大的内存占用TSA可以明显降低复杂度没有路由器机制的TSA(w/o Router)也有助于降低复杂度而路由器机制可以进一步使复杂度线性化能够处理300维的数据。
总结
1在TSA的跨维度阶段路由器机制建立的连接除了捕获跨维度依赖性外还给高维数据引入了噪声因此利用高维数据的稀疏性来降低噪声提高TSA层的计算效率是一个很有前途的方向。 2Dlinear的作者认为基于transformer的模型难以保持有序信息因为注意机制是排列不变的并且注入到模型中的绝对位置嵌入不足以用于时间序列预测可考虑文本和视觉中的相对位置编码。 3用于时间序列预测的数据集比用于文本和视觉的数据集要小得多并且时间序列数据集中的模式也更简单可考虑在大型数据集上充分发挥潜力。
