网站改版301怎么做,优秀产品设计案例分析,iis怎么做ip网站吗,滕州盛扬网站建设推广摘要:
视角变化导致步态外观存在显着差异。因此#xff0c;识别跨视图场景中的步态是非常具有挑战性的。最近的方法要么在进行识别之前将步态从原始视图转换为目标视图#xff0c;要么通过蛮力学习或解耦学习提取与相机视图无关的步态特征。然而#xff0c;这些方法有许多约…摘要:
视角变化导致步态外观存在显着差异。因此识别跨视图场景中的步态是非常具有挑战性的。最近的方法要么在进行识别之前将步态从原始视图转换为目标视图要么通过蛮力学习或解耦学习提取与相机视图无关的步态特征。然而这些方法有许多约束例如处理未知相机视图的难度。这项工作将视角变化问题视为域更改问题并提出通过对抗性域适应来解决这个问题。这样不同视角的步态信息被视为来自不同子域的数据。该方法侧重于调整源域变化引起的步态特征差异同时在不同人之间保持足够的可辨别性。为此提出了一种用于判别特征提取的分层特征聚合 (HFA) 策略。通过结合 HFA特征提取器可以很好地聚合网络不同阶段的时空特征从而获得全面的步态特征。然后提出了一种对抗性视图变化消除 (AVE) 模块该模块配备了一组用于识别不同步态视角的显式模型。通过对抗性学习过程在给定特征提取器生成的步态特征的情况下AVE 无法识别最终步态视点。也就是说对抗性域适应减轻了视图变化因子并有效地提取了与所有子域兼容的判别步态特征。在CASIA-B、OULP和OUMVLP三个最流行的公共数据集上进行的大量实验有力地证明了我们方法的有效性。
引言
步态是一种描述人类行走模式的物理和行为生物特征。与其他生物特征(如人脸、指纹和虹膜)不同步态可以很容易地在距离捕捉而不需要被试的合作很难伪装这使得它在各种监视应用中具有很高的潜力[1,2]。作为视觉中的识别任务步态识别的基本目标是从步态序列中学习独特且不变的表示。然而在现实场景中步态序列受到携带、服装条件和相机视点切换等外部因素的影响。它对步态识别提出了重大挑战特别是给跨视图步态识别带来的强烈的外观差异
为了解决上述挑战现有的基于外观的跨视图步态识别方法主要分为两类:i)基于转换的方法和ii)基于消除的方法。第一类方法通常学习不同视图之间的转换关系[6-8]或者将不同视图的步态投射到一个共同的视图[4,9 - 11]。在训练数据中包含视图之间的转换的情况下它们往往会很好地工作。然而这种转换通常是在两个视图之间执行的不能很好地扩展以处理不同的视图转换。第二类方法旨在消除视图变化干扰可以进一步分为两个子类别:1)蛮力学习[1 - 3,12 - 15];2)解耦学习[16-19]。前者专门用于提取与视图变化无关的判别步态表示。为此通常首先混合不同摄像机视图下的不同训练数据。然后无论视图差异如何模型都根据给定的人员 ID 进行训练并支持不同的损失函数。解耦学习旨在将视图信息从步态特征的其余部分中分离出来以消除其干扰。它要么故意安排不同视图下的训练数据要么明确地将视图特征与步态特征的其余部分解耦。这样模型可以最好地学习与相机视图无关的特征。与基于变换的方法相比基于消除的方法更加灵活可以很好地推广到不同的视图。然而在蛮力学习中视图本身即显式视图估计或视图特定建模在一定程度上被忽略和低估。在解耦学习中解耦过程涉及使用生成对抗网络或自动编码器的特征分解和合成[16,18]这在某种程度上损害了步态序列中的时空特征。
这项工作提出了一种新的跨视图步态识别方法该方法被视为域转移问题。不同视图的步态信息被视为来自不同子域的信息。视图变化引起的统计分布差异被视为子域偏移。因此采用域适应 (DA) 作为所提出方法的管道。成功适应的关键是学习一个判别模型以最小化源域和目标域之间的分布差异。在这项工作中DA 不考虑针对一个目标域的一个源域 [20-22]但打算同时对齐多个子域的步态信息。因此步态识别的步态最终特征表示与视图变化无关。受无监督DA方法[20,23 -25]的启发我们采用域对抗神经网络(DANN)[25]作为解决这一挑战的基本框架。这种选择的基本原理源于 DANN 提供了几个关键优势的事实。首先DANN 通过修改特征表示本身来匹配特征空间分布而不考虑不同领域背后的变化因素和复杂的解耦操作这更适合我们的目的多个子域适应。其次DANN 在统一的架构中执行特征学习和域适应并且可以使用简单的反向传播算法来实现。这种工作机制能够充分探索步态中的时空信息同时消除视图变化的影响
因此我们提出了一种新的步态域对抗网络(记为GaitDAN)用于跨视图步态识别。GaitDAN能够通过端到端对抗训练学习判别和子域不变的步态特征使最终的步态表示在所有子域中都可以很好地泛化。图 1 说明了 GaitDAN 的结构它由一个新颖的特征提取器、对抗性视图更改消除 (AVE) 模块和度量学习 (ML) 模块组成。特征提取器是具有专门设计的分层特征聚合 (HFA) 策略的新网络能够提取浅层局部细节信息和高层语义表示的互补时空特征。因此在不丢失细微的视觉线索的情况下可以获得更全面的时空步态特征。AVE模块是GaitDAN中包含多个视图鉴别器的关键适应组件。它试图挑战特征提取器生成的步态特征并通过对抗性学习过程将它们区分在不同的子域。也就是说特征提取器旨在生成欺骗AVE的步态表示。同时AVE以对抗学习的方式反馈给特征提取器生成更好的子域不变步态特征来欺骗AVE。引入了ML模块以进一步提高步态表示在特征空间中的可区分性。通过这种方式保证了步态识别任务的高可辨别性。
随着训练的进行GaitDAN 可以产生子域不变和有区别的步态特征。更具体地说我们做出了以下三个主要贡献。
•我们首次将视图变化消除转化为域适应问题提出了一种新的用于跨视图步态识别的领域对抗网络。与当前基于转换或基于消除的方法形成鲜明对比这使得充分利用时空信息同时消除视图变化的影响。更令人印象深刻的是它提高了模型在完全未知的视点进行跨视图步态识别的性能。
•我们提出了一种新的HFA策略该策略可以利用网络各个阶段的综合时空信息并以微妙的注意方式分层聚合它们有效地提高了所提方法的判别能力保证了步态序列中时空信息的充分挖掘。•我们提出了一种简单而有效的视图变化消除方法即AVE模块。通过利用子域对抗对齐的优势AVE模块可以简单的方式缩小多个视图级子域之间的差异有利于整个网络的端到端训练进一步提高步态表示的鲁棒性。
提出方法
A.概述
首先将来自不同子域的步态轮廓序列输入到一个新的特征提取器GFHFA中提取细粒度的时空特征FFM。然后为了获得视图不变的细粒度特征将视图对抗学习过程合并到网络中。这是一个由特征提取器GF和AVE模块GAVE组成的两人博弈。训练AVE模块来区分输入的细粒度步态特征来自哪个子域同时对特征提取器GF进行微调以混淆AVE模块。具体来说通过最大化AVE模块的损失来学习特征提取器GF的参数WF而AVE模块的参数WAV E通过最小化AVE模块的损失来学习。同时应用包括三元组损失和交叉熵损失的 ML 模块来增强特征空间中细粒度步态表示的区分 将训练数据输入进特征提取器HFA 得到输出特征
featurebn, feature, fea_grl,#[N,128,bin_all]\[N,bin_all,74]\[N,bin_all,11]
其中 fea_grl特征 输入进 AVE 模块进行
featurebn, feature输入进ML模块 B.HFA策略的特征提取器
主干分支 HFA 分支
步态轮廓序列的二值化性质加上视图变化引起的大外观干扰导致受试者仅在轮廓序列中的特定位置的细微差异。因此利用从网络的浅层阶段提取的特征进行准确的步态识别变得至关重要因为它们可以对局部区域进行详细的编码。此外用低级特征补充高级特征可以专注于更具辨别力的区域从而提高特征的可辨别性。在此基础上我们将分层特征聚合(HFA)策略引入到基于基本分支的特征提取器中以获得更全面的时空步态特征。它由HFA分支实现如图2所示。HFA的核心思想是同时考虑不同阶段的视觉线索。然而不同阶段特征之间的分布差异和语义错位。直接聚合[39,40]如连接、求和或使用瓶颈层可能会导致语义混淆而不是实现积极的补充。为此我们引入了注意力机制并在 HFA 分支中提出了一个跨阶段注意力聚合 (CSAA) 块以合并来自基本分支中不同网络阶段的跨阶段时空特征。CAA块的详细架构如图3所示。它由两个可学习参数σ1、σ2、一个跨阶段注意推导操作Wm和一个跨阶段注意聚合操作Wa组成。 C.基于域适应理论的对抗性视图变化消除模块
跨域情况下主体的良好表示是模型无法识别域源信息的模型。AVE模块旨在在不指定任何特定源或目标域的情况下减少子域之间的分布差异。与只涉及两个域的一般域适应问题不同基于轮廓序列的跨视图步态识别情况复杂一方面涉及多个不同的子域另一方面涉及佩戴和携带情况等复杂场景变化。因此从不同子域到域不变空间的转换并不相同。在这方面设计了一种逐步细化的域适应方法该方法允许来自每个子域的样本来学习它们对域不变空间的相应变换。这导致每个子域与其他子域之间的域偏移逐渐减小最终导致所有子域之间的差异减小。如图4所示AVE模块由多个具有共享梯度反向层(GRL)的视图鉴别器组成。特别是二进制1 vs.其他人)判别器为AVE模块中的每个特定视图设计
此外开发了一个对抗性目标以最小-最大的方式同时训练特征提取器和这些鉴别器。鉴别器损失的最小过程使他们能够区分源自该子域的每个步态输入而其损失的最大过程旨在混淆这些鉴别器以消除子域差异。因此AVE 模块中的每个子域都被视为临时目标域而其他子域被视为源域。对抗性学习用于减少源域和目标域之间的差异。通过迭代训练最终将不同摄像机视图下的步态信息映射到多个子域之间无法区分步态特征的公共嵌入空间。具体来说对于具有权重参数 Wv D 的视图鉴别器 Dv首先将归一化后输入样本 x 的每个基于部分的特征 f h F M ∈ RC′ 分别输入到 Dv 通过 GRL然后将 Dv 的相应输出馈送到 softmax 层以获得概率输出 z ∈ R2。该过程可以表示为 这里使用的GRL[2535]是通过最大化子域区分损失(即公式12)来减少多子域的分布差异。如第 II-B 节所述它可以在反向传播期间自动将最大化问题转换为最小化负损失以实现网络优化的一致性。因此优化GF的最大目标函数可以表示为 AVE模块的前向和后向传播如图4所示。在前向传播过程中GRL只是一个公共层没有任何额外的操作。在反向传播过程中GRL反转优化目标Eq.(12)相对于特征提取器中的参数的梯度然后用负权重α向后传递。通过GRL可以以端到端的方式实现子域对抗对齐而无需单独固定生成器和鉴别器进行迭代训练如GANs。这大大简化了网络的整体实现促进了步态序列中时空特征的挖掘。最后可以提取所有视图鉴别器难以区分的鲁棒特征表示然后可以有效缓解子域之间的差距。
D.度量学习模块
作为度量学习问题具有高可辨别性的特征对于跨视图步态识别至关重要。基于 Triplet 的损失函数直接旨在学习判别特征这些特征更直接、更合适。此外基于三元组的损失函数通常能够通过在训练期间设置边距来更有效地学习细微特征这特别适用于基于轮廓序列的跨视图步态识别。与其他基于距离的损失函数方法相比如DrLim方法[43]其约束相对松散更合适。DrLim使用对比度损失将同一类所有样本之间的距离均匀收敛到0而不同类别的样本之间的距离收敛到一个固定阈值。这是跨视图步态识别的一个极其严格的约束同一类的样本与DrLim的使用之间存在很大的外观差异可能会混淆原始度量学习。因此在ML模块中采用了由单独的批全三元组损失[44]和交叉熵损失组成的组合损失以确保学习到的步态特征分散且具有高度区分性。按照[44]中概述的设置对每个受试者的P个受试者和U个轮廓序列进行采样以组成大小为P×U的小批次。对于小批量中的每个序列锚点选择相应的正例pos.和负例neg.来构建样本三元组。具体来说锚和正例具有相同的身份标签但与负例不同PU (U − 1) (PU − U ) 样本三元组在每个小批量中构成。为了充分利用细粒度特征分别对ML模块中的水平切片特征分别施加batch-all三元组约束。完整的三元组损失定义为 E.联合损失函数
最后由单独的批全三元组损失Eq.(14)和交叉熵损失Eq.(16)组成的总体目标以及第III-C节介绍的损失来优化所提出的GaitDAN。提出的GaitDAN的函数式(2)可以改写为:
