佛山知名网站建设公司,家纺营销型网站,电脑网站怎样给网页做适配,山东电力建设第一工程公司网站目录 1 引言2 方法2.1 视频目标跟踪2.1.1 生成式模型方法2.1.2 判别式模型方法2.1.2.1 基于相关滤波跟踪2.1.2.2 基于深度学习跟踪 2.2 视频异常检测2.2.1 基于重构方法2.2.2 基于预测方法2.2.3 基于分类方法2.2.4 基于回归方法 2.3 深度伪造人脸视频检测2.3.1 基于RNN时空融合… 目录 1 引言2 方法2.1 视频目标跟踪2.1.1 生成式模型方法2.1.2 判别式模型方法2.1.2.1 基于相关滤波跟踪2.1.2.2 基于深度学习跟踪 2.2 视频异常检测2.2.1 基于重构方法2.2.2 基于预测方法2.2.3 基于分类方法2.2.4 基于回归方法 2.3 深度伪造人脸视频检测2.3.1 基于RNN时空融合特征检测2.3.2 基于卷积时空融合特征检测2.3.3 基于像素位移时空融合特征检测 2.4 异常行为识别2.4.1 基于C3D-CNN的特征提取2.4.2 基于双流CNN的特征提取2.4.3 基于RNN的特征提取2.4.4 基于深度图像的特征提取 1 引言
随着机器视觉技术应用领域的不断扩充所面临的检测对象类型持续增加基于单帧图像的检测方法已无法作为适用所有场景检测的通用方法由此基于视频的检测方法开始出现其通过引入连续多帧图像中的时序信息能够根据图像间关联做出准确判断目前已成功被应用于视频目标跟踪、视频异常检测、深度伪造人脸检测、异常行为识别等多个场景。
注本博客仅供大家参考交流为避免直接ctrl-c、v故文中所涉及的文献信息被隐去。需要了解个别文献来源的话可在文末标注的参考来源中进行查找或在评论区进行留言看到会积极回复的。
2 方法
2.1 视频目标跟踪
视频目标跟踪技术主要通过分析视频序列在视频序列的每一帧中定位出目标包括计算出目标的大小、位置等信息。其难点在于运动目标在视频图像跟踪过程中可能会发生的旋转、遮挡、尺度变化等比较复杂的变化以及一些客观因素的影响比如各类噪声、出现遮挡等等。根据建模方式的不同目标跟踪方法可分为生成式模型方法、判别式模型方法。
2.1.1 生成式模型方法
生成式模型方法检测思路一般为 1提取目标特征构建表现模型。 2在图像中搜索与模型最匹配的区域作为跟踪结果。 其本质是在目标表示的高维空间中找到与目标模型最相邻的候选目标作为当前估计。比较经典的算法包括卡尔曼滤波、粒子滤波、均值漂移等。 该类方法缺点在于只关注目标信息而忽略了背景信息。
2.1.2 判别式模型方法
判别式模型将跟踪问题作为分类或回归问题目的是寻找一个判别函数将目标从背景中分离出来从而实现对目标的跟踪。判别式模型方法又可分为基于相关滤波的跟踪算法和基于深度学习的跟踪算法。
2.1.2.1 基于相关滤波跟踪
相关滤波跟踪算法基本思想为设计一个滤波模板然后利用该模板与目标候选区域做相关运算最大输出响应的位置即为当前帧的目标位置。一般其求解运算放在频率域进行能使算法能够达到实时跟踪的效果。 其代表算法有最小输出误差平方和(MOSSE)跟踪算法、核相关滤波(KCF)跟踪算法、判别尺度空间DSST) 跟踪算法、空间正则相关波(SRDCF) 跟踪算法、时空正则相关滤波 (STRCF) 跟踪算法、背景感知相关滤波 (BACF) 跟踪算法等。 相关滤波方法具有速度快、精度高等优点但是该类算法通常采用手工浅层特征因此鲁棒性较差。
2.1.2.2 基于深度学习跟踪
深度学习跟踪检测算法一般可分为基于孪生网络和卷积神经网络两类。相比于相关滤波跟踪算法基于深度学习的跟踪算法通常能够获得更高的跟踪准确度。 1基于孪生网络 2016年文献[1]提出全卷积孪生网络SiamFCFully-Convolutional Siamese Networks)。首次将孪生网络引入到视频目标跟踪领域把视频目标跟踪问题转化为图像匹配问题通过选择与模板图像最相似的候选图像实现了对目标的跟踪。 2018年文献[2]在SiamFC基础上提出了SiamRPNSiamese Region Proposal Network算法通过引入区域候选生成网络有效提升了算法跟踪精度。 2019年文献[3]提出了一种目标感知模块并将其与SiamFC框架结合。目标感知模块通过选择当前跟踪目标所需通道摈弃非必要通道有效提高了跟踪速度。 2019年文献[4]针对孪生子网络较浅目标信息利用率不高的问题提出引入内部裁剪残差单元代替直接使用深度网络避免了算法受深度网络中填充操作影响导致性能提升不明显的现象发生。 2020年文献[5]提出了一种动态孪生网络DSiam(Dynamic Siamese Network)在SiamFC架构上增加了形变学习层。同时利用视频始端多帧图像学习目标外观变化使得算法对于背景噪声的防干扰能力增强长时跟踪精度得到提高。 2020年文献[6]针对SiamFC在严重遮挡、旋转、光照变化和尺度变化等情况下容易造成跟踪失败的问题提出了一种融合扰动感知模型的孪生神经网络视频目标跟踪算法通过融合网络提取的浅层特征和深层语义特征提高了所提取特征的表征能力算法检测精度得到加强。此外该算法引入了颜色直方图特征的扰动感知模型通过加权融合的方式获得目标响应图以此来实现目标跟踪。 2021年文献[7]针对跟踪目标在平面内旋转的问题展开研究提出了旋转等变孪生网络Rotation-Equivariant Siamese networks, RE-SiamNets以无监督的方式估计目标旋转方向变化促进了算法跟踪性能。 近几年基于孪生网络的算法由于其思想简单架构可伸缩在视频目标跟踪领域取得了快速的发展。该类算法在跟踪速度较为可观的情况下有效提升了跟踪器对背景和相似干扰物的辨别能力是视频目标跟踪领域未来研究的重点。
2基于卷积神经网络 2013年文献[8]提出了一种基于深度学习的支持向量机算法DLSVM其利用图像识别领域的预训练CNN对目标进行特征提取后使用支持向量机分类进行跟踪。但该种方法效果并不乐观主要原因在于图像分类方法无法达到视频目标跟踪既要关注目标实例与背景间的差异又要同时消除同类别其他实例的干扰要求。 2016年文献[9]提出了针对视频目标跟踪的多域卷积神经网络Multi-Domain Network, MDNet能够很好解决上述问题。MDNet网络最终输出一个二维向量用于表示该边界框中物体为目标或者背景的概率。MDNet架构小参数少具有很好的实时性。 2017年文献[10]针对MDNet算法中采样密集的问题提出了行为驱动策略通过捕获目标运动信息搜索高质量候选样本提高了算法的泛化性能。 除此之外还有一些使用CNN与其他网络的结合方法。 2017年文献[11]将CNN和RNN进行结合提出了SANetStructure-Aware Network。其中CNN负责类间判别区分目标类与背景RNN负责类内选择区分目标实例与相似干扰物。 2019年文献[12]通过结合两层深度回归网络和IoUNet网络提出了ATOMAccurate Tracking by Overlap Maximization法前者用于目标粗略定位生成候选区域后者用于目标精细定位和尺度估计。 相似的2020年文献[13]将孪生网络和Faster R-CNN进行结合提出了Siam R-CNNSiamese R-CNN)。其中孪生网络用于特征提取Faster R-CNN用于候选区域生成。
随着深度学习跟踪方法的不断研究所提出的跟踪器架构越来越大导致在资源受限的应用部署中越来越受限。 2021年文献[14]提出一种轻量级的神经网络跟踪架构Light Track。该架构使用神经网络架构搜索(Neural Architecture Search) 方法可自动设计轻量级模型其内部所有超网络只需训练一次在跟踪性能和计算成本之间取得了较好的平衡。 基于卷积神经网络的视频目标跟踪算法虽然可以利用不同的网络架构提取不同深度的目标特征但是由于网络架构庞大模型参数较多该类算法的跟踪代价通常较大因此轻量级的跟踪模型研究具有十分重要的研究意义。 2.2 视频异常检测 视频异常通常指视频中出现不正常的外观或运动属性或在不正常的时间或空间出现正常的外观或运动属性。视频异常检测任务流程如上图所示对于给定的某一特定场景下的正常视频数据样本首先从中提取视频帧或视频窗内图像的运动及外观特征并建立模型对正常样本的分布进行学习。测试时将提取的测试样本特征输入模型模型依据重构误差、预测误差、异常分数和峰值信噪比等指标对其进行异常判定。 目前利用深度学习技术的视频异常检测方法可分为基于重构、基于预测、基于分类、基于回归四类。
2.2.1 基于重构方法
基于重构的视频异常检测方法的核心思想是通过训练正常视频数据获得正常数据的分布表示。在测试过程中正常测试样本会具有较小的重构误差而异常样本的重构误差则较大从而实现视频的异常检测。 常用的重构方法包括自编码器与稀疏编码两类。 2016年文献[1]首先利用传统手工方法提取时空特征并在其上学习一个全连接的自编码器其次再建立一个全卷积前馈自编码器用于学习局部特征和分类器以实现端到端检测所提算法能够在很少或者无监督的情况下进行视频异常检测。 2017年文献[2]提出了一种外观运动深度网络AMDN(Appearance and Motion Deep Net)能够同时提取视频的外观和运动信息并使用多个单类支持向量机SVM预测每个输入的异常得分最后集成分数用于最终的异常检测。 由于深度神经网络的学习能力较强导致自编码器有时不仅能将正常样本重构得较好同时也使得异常样本具有较小的重构误差。 为此2019年文献[3]提出了一种改进的自编码器称为记忆增强自编码器MemAE(Memoy-auomented AutoEncoder)。当给定输入时算法首先从编码器获取编码然后以其作为依据检索最相关的记忆项进行重构能够有效区分正常与异常情况提升检测精度。 2020年文献[4] 针对MemAE进行改进使用一个具有更新方案的记忆模块在公开基准数据集上取得了可以媲美当时最先进方法的异常检测效果。 关于稀疏编码方法文献[5]早在2011年就提出了一种无监督的动态疏编码方法。方法首先对输入视频序列提取时空兴趣点并依据上下文视频数据学习字典测试时再依据字典基底能否重构出查询事件来判定异常。 2017年文献[6]针对稀疏系数迭代优化过程耗时问题提出一种时间相干疏编码TSC(Temporally-coherent Sparse Coding)网络实现了参数的加速优化。 2020年文献[7]提出一种双流神经网络用于提取时空融合特征同时引入快速稀疏编码网络(FSCN)构建字典测试速度与精度均有了质的飞跃。
2.2.2 基于预测方法
基于预测的视频异常检测方法通常假定一段连续的正常视频存在某种有规律的上下文联系可以学习这种依赖关系并较好地预测未来帧而异常视频往往违背这些依赖关系导致未来帧不可预测。 2015年文献[8]通过交替卷积和矫正线性单元ReLU生成未来帧并引入多尺度结构、对抗训练和图像梯度差异结合的特征学习策略对所生成未来帧清晰度进行了加强。 2016年受LSTM处理时序数据的启发文献[9]提出了一种复合的Conv-LSTM对视频序列进行建模通过对解码过程进行约束能够重构过去帧和预测未来帧进而实现视频的异常检测。 2018年文献[10]使用U-Net作为生成器用于生成未来帧同时引入强度损失、梯度损失和光流损失对其质量进行约束最后通过判别器判断未来帧真假成功强化了预测模型的预测能力。 2019年文献[11]针对预测过程中均方差损失函数可能造成的未来帧模糊现象提出了一种深度预测编码网络AnoPCN(A novel deep Predictive Coding Network)。该网络将预测编码模块PCM(Predictive Coding Module)和误差细化模块ERM(Error Refinement Module)进行组合成功将其统一到了端到端框架实现异常检测过程。
2.2.3 基于分类方法
基于分类的视频异常检测方法主要分为单分类和多分类两种。单分类方法的主要思想为通过正常视频数据训练一个单类分类器测试中分类器只需要判别给定数据是否属于该类即可。 2018年文献[12]就受GAN在无监督和半监督环境中训练深度模型的启发提出了一种基于单分类的视频异常检测方法 2019年文献[13]在文献[12]基础上进一步提出了一种深度单分类神经网络。模型使用堆叠的卷积提取低维特征的高级语义信息同时结合对抗机制与解码器能够在仅提供正常样本下训练得到紧凑的单类分类器实现异常检测。 对于多分类方法2018年文献[14]提出使用图像相似度表示局部特征自编码器输出特征向量表示全局特征然后通过将特征送入高斯二分类器实现异常检测。 2019年文献[15]提出将异常检测问题转化为一个单对剩余类的二分类问题。首先在卷积自编码器生成的特征上使用聚类再训练一个单对剩余类分类器来区分聚类。若测试中通过分类器得到的最高分类分数为负则表明该样本为异常。 除二分类外2019年文献[16]提出一种自适应帧内分类网络AICN(Adaptive intra-frame classification Network)将视频异常检测任务转化为多分类问题。该网络将从原始输入提取到的运动和外观特征分为若干个子区域并对每一个子区域进行分类。测试中若该子区域的测试分类结果与真实分类不同则被视为异常。
2.2.4 基于回归方法
回归方法主要思想是将异常得分作为评估指标设置适当的阈值若异常得分高于阈值则将其视作异常否则便为正常。 2018年文献[17]提出了一种主要在弱监督条件下训练的多示例学习方法。首先将训练视频分割为含正例包与负例包两类的数量相等的视频帧片段再使用C3D(Convolutional 3D)对每个片段提取时空特征。然后将特征输入CNN进行打分挑出得分最高的两类片段用于模型参数训练。最后通过较链损失训练模型对异常样本输出高分正常样本输出低分进而实现异常判定。 由于提取视频特征对于输出异常得分至关重要2019年文献[18]提出使用计算光流信息替代C3D处理再通过时间增强网络输出异常得分显著提高了异常检测的性能。 2020年文献[19]针对较链损失函数不光滑模型优化过程可能面临梯度消失的问题提出了一种新的损失函数使得模型对输出异常得分具有鲁棒性 2020年考虑到手工标注正常/异常视频数据的复杂性文献[20]引用伪标签加迭代优化的训练机制设计了一种无需标注端到端可训练的视频异常检测方法。
四类方法各自的优缺点如下图所示 2.3 深度伪造人脸视频检测
“深度伪造”deepfake源自“深度学习”deep learning与“造假”fake的组合这成为利用深度学习实现人物换脸、表情编辑等视频伪造的一系列技术的统称用以躲避识别、混淆视听、娱乐用户以及其他目的。根据特征选择不同深度伪造人脸视频检测可分为基于空间特征检测、基于时空融合特征检测、基于生物特征检测等多类方法。 深度伪造视频制作往往通过融合修改后的视频帧实现。因此除了单帧图像会存在深度伪造信息之外帧之间也会存在相应的伪造信息对图像帧间的关联信息进行把握可有效增加检测准确率。参考调研题目本报告将主要介绍基于时空融合特征的视频检测方法包括基于RNN、基于卷积、基于像素位移三类。
2.3.1 基于RNN时空融合特征检测
循环神经网络RNN在自然语言处理中经常被用来提取上下文之间的语义联系在视频处理领域也可用来挖掘相邻帧之间的相关性。近几年利用时空融合特征检测人脸深度伪造视频的工作中基于RNN的时空融合特征检测占据较大比例。 结合深度伪造视频视频帧间的不连续性特性很多研究提出了各自的解决方案。 2019年文献[1]直接将CNN与RNN进行组合首先利用CNN进行每一图像/视频帧的特征提取再使用RNN挖掘相邻帧之间的时序关系。所提方法取到了较好的检测效果。 在此基础上2020年文献[2]使用Xception和Bi-LSTM取代之前的CNN和RNN并在交叉损失基础上增加KL散度损失有效提高了算法的检测准确率。 2020年文献[3]从伪造视频的生成阶段入手以压缩编码时帧间的预测误差作为输入经过CNN的特征提取与LSTM的时序提取最终实现伪造视频判定。 2020年文献[4]提出一种双流结构检测网络该方法使用LoG算子处理后图像与原始图像作为双分支输入通过DenseNet进行各自特征提取后使用融合模块将其特征进行两路融合最后经过LSTM抽取帧间的信息并进行分类。配合所提出的基于one-class-classification的损失函数能够有效提升模型检测精度。 同年文献[5]提出自动脸部权重 (automatic face weighting, AFW)概念使得模型预测时能够根据信息重要性自动分配权重成功增强了模型的泛化能力。
2.3.2 基于卷积时空融合特征检测
与利用RNN提取时序特征不同基于卷积的时空融合特征检测更加依赖于卷积核的设计。通常的方法是对图像/视频帧的卷积核的时间维度进行设计以提取帧间的连续性与相关性等特征。 2020年文献[6]采用多实例学习的思想设计了时空实例以刻画帧间的一致性辅助深度伪造检测过程。具体而言即使用不同大小核的一维卷积对输入的人脸序列从多视角进行编码从而得到时空实例用于最终检测。 2021年文献[7]进一步从局部的角度上挖掘时空不一致关系提出时空不一致学习 (Spatial-Temporal Inconsistency Learning, STIL)模块。该模块创新地提出了除利用卷积核在水平方向提取帧间不一致之外也可在垂直角度上挖掘时间特征。但由于该方法对帧采取了稀疏采样策略故可能在采样帧间隔较大时无法捕捉到由细微运动引起的不一致。 为克服上述问题2022年文献[8]提出基于片段不一致 (Snippets Inconsistency Module, SIM) 的方法。首先将原始视频分为若干片段各片段都由相同数量的相邻帧组成。然后针对片段内不一致分别从正反两方向计算水平与垂直时序特征。对于片段间不一致分别从正反两方向作差以表示前后片段之间不一致。最后将片段内与片段间整合为统一模块嵌入到已有的主干网络中辅助特征提取并进行最后的分类。据悉该模型在跨库测试中取得了接近80%的准确率。 除1d与2d卷积之外3d卷积也有相关研究方法。 2020年文献[9]研究了3D ResNet、3D ResNeXt和l3D三种3DCNN对于检测伪造视频的能力。通过验证模型对4种不同伪造操作视频的正确检出能力表明了3DCNN至少能够达到与基于图像的伪造检测算法相似的性能。 此外基于视频帧间的不一致线索2021年文献[10]进一步提出了一种引入时序Dropout的3DCNN方法检测深度伪造视频。通过对固定长度的输入视频帧进行特征提取与分析判定其属于伪造视频的可能性。同时时序Dropout的引入使得模型的精准性与鲁棒性都得到有效提升。 2021年文献[11]为解决时空耦合会削弱模型捕捉纯时间信息能力这一问题构建了由全时间卷积网络FTCN与时序转换器TT组成的时间相干性网络模型从加强模型提取时间特征提高泛化能力以及探索长期时间相干性两方面进行研究证明了其相比其他方法在鲁棒性和通用性方面都具有优越的性能。
2.3.3 基于像素位移时空融合特征检测
基于像素位移检测方法即光流法(optical flow)。光流是空间运动物体在观察成像平面上像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧当前帧之间存在的对应关系从而计算出相邻帧间物体的运动信息的一种方法。通常二维图像平面待定坐标点上的灰度瞬时变化率被定义为光流矢量 2019年。文献[12]优先提出利用光流法进行人脸视频深度伪造检测。该方法利用CNN获取并分析真实视频与伪造视频形成的光流差异后送入分类器分类。通过在DeepFakes、Face2Face数据集测试所提算法分别取得了81.61%和75.46%的准确率。 2020年文献[13]进一步利用OpenCV的Canny边缘检测方法获取每一帧的边缘信息以更加丰富特征表达再与图像的原始RGB以不同方式进行融合共同形成输入模型的最终特征组合。在常用的FaceForensics、DFDC等数据集上进行测试模型平均准确率能够达到81.29%表明模型具有一定的泛化能力。 2.4 异常行为识别
异常行为识别技术大致可分为两类: 1以行为识别为第一任务需针对异常姿态或动作建立样本库之后通过人体目标检测、姿态估计、动作识别等方法判别具体行为并最终判定其是否属于异常行为样本库。 2以异常检测为第一任务较少考虑具体的异常动作往往通过对正常场景进行建模后通过相似度对比实现异常情景判定。 在效果方面基于行为识别的方法往往对个体异常行为具有较好的识别效果对子全局信息的关注则较少。基于异常检测的方法对视频的全局信息具有更强的分析能力但对局部微小的异常行为难有精确的检测效果。 本报告将着重介绍以行为识别为第一要务的异常行为识别方法具体的又将重点阐述以深度学习为基础的相关研究方法。由上图可知异常行为的识别过程主要由特征提取与分类两部分构成故特征提取的好坏将直接影响后续分类结果的准确性。目前基于深度学习的特征提取方法主要分为基于C3D(Convolutional 3D)、基于双流CNN、基于RNN、基于深度图像四类。
2.4.1 基于C3D-CNN的特征提取
2013年文献[1]为提取视频帧间的时空特征在输入数据中增加了时间维度信息使用三维卷积核对连续多图片进行卷积实现了人体的行为识别. 2015年文献[2]进一步提出了 C3D网络通过确定合适的三维卷积核尺寸提取输入视频的外观和运动特征并通过连接到多分类SVM实现了简单高效的行为识别。 2017年针对C3D计算量较大、模型参数训练因难问题文献[3]使用空间二维卷积和时间一维卷积代替了三维卷积网络并以多种组合方式植入残差网络设计了伪三维残差神经网络结构(pseudo-3D ResNet, P3D)有效降低了模型的复杂度在行为检测和场景识别等方面取得了较好的效果。 2019年为充分获取视频及图像的显著特征文献[4]在行为识别框架中引入了注意力机制通过在特征映射中增加与前景区域相关联的值来构造剩余注意单元有效减少了背景运动对识别过程产生的不利影响。
2.4.2 基于双流CNN的特征提取
双流卷积神经网络是指将输入视频分为时间流和空间流两个部分提取多帧稠密光流信息作为时间流输入将单帧RGB图像作为空间流的输入。然后利用深度卷积神经网络分别对两种信息流进行处理最后将结果进行融合实现行为识别。 2015年文献[5]对原有双流架构加以改进利用ImageNet对时空流进行预训练使用更小的学习率并结合数据增强技术防止了因数据量规模较小而产生的过度匹配情况。 2016年文献[6]基于原始双流网络提出了一种时空融合架构。通过在不同层级对两个网络的特征图进行融合之后利用C3D对融合后的特征进行处理从而更好地实现了时间网络与空间网络的交互。 同年文献[7]基于长时间的视频序列建立模型提出了构造时域分段网络Temporal Segment Network, TSN)。模型利用稀疏时间采样方法从较长的视频序列中随机抽取短片段输入不同的双流网络中同时采用段共识函数对不同的片段得分进行融合实现了视频级的行为识别 2018年文献[8]基于TSN提出了TRN(Temporal Relation Network)能够对多个时间尺度的视频进行时序推理获取多帧之间的时间依赖关系。 2018年文献[9]在TSN稀采样策略基础上提前对时空信息进行融合构建了一套完整的在线视频分析框架实现了更加快速的行为检测。 2018年文献[10]基于双流框架和C3D提出了I3D (Inflated 3D Convolutional Network)该网络将输入的RGB图像和光流信息分别训练并取两者预测结果的平均值输出所提模型的检测。 为充分利用时间、空间及跨通道维度的特征2020年文献[11]在I3D基础上添加了通道-时空注意力块提出了细粒度动作识别的多视角注意机制,提高了行为识别准确率
2.4.3 基于RNN的特征提取
与前馈网络相比循环神经网络(Recurrent Neural Networks, RNN)能够存储信息并处理时序数据具有对输入信息的记忆能力能够反映时间序列数据的关系。 1997年文献[12]为解决RNN处理长序列时容易出现梯度消失的问题将RNN拓展至长短期记忆单元(long short-term memory, LSTM)用存储单元代替神经元并添加输入门、输出门、忘门。模型实现了系统状态的整体更新和结果输出对于学习长序列数据的特征有不错效果。 2015年文献[13]将CNN与LSTM单元相结合利用较长视频进行训练得到了较好的识别效果。 同年文献[14]根据RCNN可以将可变长度的输入映射到可变长度的输出这一特点提出了LRCN (Long-term Recurrent Convolutional Networks)。模型利用CNN提取特征并将之作为LSTM的输入实现了端到端的行为识别。 2018年文献[15]提出一种基于运动的注意力机制通过将注意力引导到相关的时空位置充分利用了视频的空间相关性。所提方法可以作为提升模型检测性能的通用模块。 2017年文献[16]将视频相邻帧之间的差异作为输入利用卷积长短期记亿网络进行编码基于视频实现了端到端的暴力行为检测。 相比于其他特征提取方法基于深度学习的特征提取方法不必定义提取的具体特征可以通过较少的预处理、借助自身的多层隐藏节点直接从原始数据中学习有用特征。同时基于深度学习的特征提取方法易与大数据进行结合在多种场景下取得较好的应用效果.
2.4.4 基于深度图像的特征提取
随着三维视觉传感器的飞速发展深度图像逐渐广泛应用于行为识别领域。深度图像中包含三维空间的深度信息相比于传统色彩图像其去除了颜色和纹理信息使用空间几何信息和目标结构信息替代背景变化和遮挡等因素的影响被极大削弱具有较好的鲁棒性。 2017年文献[17]采用空间拉普拉斯和时间能量金字塔方法将深度图像序列分解为不同时空位置的特定频带。通过提取其中低频和高频特征并将之融合实现了高效的行为分类。 2018年文献[18]将深度数据中的运动、形状信息结合生成基于运动和形状的兴趣点从而高效地对行为的局部外观和时空分布进行了描述。 一定程度上利用深度图像进行人体行为分析弥补了二维图像部分信息缺失的问题但深度图像本身存在较多噪声且缺少外观和纹理信息。此外基于深度图像的特征提取方法计算量较大目前还有很大的研究和发展空间。
------tbc------- 有用可以点个大拇指哦
【作者有话说】 以上内容仅为博主自主整理分享很多内容也是来源于网络若有侵权请私聊告知 大家有任何问题可在评论区讨论交流~
部分参考来源
《人脸视频深度伪造检测方法综述》_张璐 《视频单目标跟踪研究进展综述》_韩瑞泽 《视频目标跟踪算法综述》_刘艺 文章转载自： http://www.morning.clccg.cn.gov.cn.clccg.cn http://www.morning.qcslh.cn.gov.cn.qcslh.cn http://www.morning.tcsdlbt.cn.gov.cn.tcsdlbt.cn http://www.morning.wqgr.cn.gov.cn.wqgr.cn http://www.morning.rdng.cn.gov.cn.rdng.cn http://www.morning.thxfn.cn.gov.cn.thxfn.cn http://www.morning.jyznn.cn.gov.cn.jyznn.cn http://www.morning.jygsq.cn.gov.cn.jygsq.cn http://www.morning.kklwz.cn.gov.cn.kklwz.cn http://www.morning.wffxr.cn.gov.cn.wffxr.cn http://www.morning.mlcnh.cn.gov.cn.mlcnh.cn http://www.morning.mnpdy.cn.gov.cn.mnpdy.cn http://www.morning.wgtr.cn.gov.cn.wgtr.cn http://www.morning.dfltx.cn.gov.cn.dfltx.cn http://www.morning.dzqr.cn.gov.cn.dzqr.cn http://www.morning.tqhpt.cn.gov.cn.tqhpt.cn http://www.morning.ndtmz.cn.gov.cn.ndtmz.cn http://www.morning.fylsz.cn.gov.cn.fylsz.cn http://www.morning.fxzgw.com.gov.cn.fxzgw.com http://www.morning.bzgpj.cn.gov.cn.bzgpj.cn http://www.morning.rxhsm.cn.gov.cn.rxhsm.cn http://www.morning.qyxwy.cn.gov.cn.qyxwy.cn http://www.morning.shsh1688.com.gov.cn.shsh1688.com http://www.morning.nkbfc.cn.gov.cn.nkbfc.cn http://www.morning.prlgn.cn.gov.cn.prlgn.cn http://www.morning.gnbfj.cn.gov.cn.gnbfj.cn http://www.morning.yhywr.cn.gov.cn.yhywr.cn http://www.morning.bpmfz.cn.gov.cn.bpmfz.cn http://www.morning.ppdr.cn.gov.cn.ppdr.cn http://www.morning.ybnzn.cn.gov.cn.ybnzn.cn http://www.morning.dwhnb.cn.gov.cn.dwhnb.cn http://www.morning.sgbss.cn.gov.cn.sgbss.cn http://www.morning.jnbsx.cn.gov.cn.jnbsx.cn http://www.morning.sbdqy.cn.gov.cn.sbdqy.cn http://www.morning.mznqz.cn.gov.cn.mznqz.cn http://www.morning.hwnnm.cn.gov.cn.hwnnm.cn http://www.morning.cylbs.cn.gov.cn.cylbs.cn http://www.morning.fkwgk.cn.gov.cn.fkwgk.cn http://www.morning.wbxr.cn.gov.cn.wbxr.cn http://www.morning.dwdjj.cn.gov.cn.dwdjj.cn http://www.morning.mzrqj.cn.gov.cn.mzrqj.cn http://www.morning.zdmrf.cn.gov.cn.zdmrf.cn http://www.morning.nzhzt.cn.gov.cn.nzhzt.cn http://www.morning.lmknf.cn.gov.cn.lmknf.cn http://www.morning.cbndj.cn.gov.cn.cbndj.cn http://www.morning.tmzlt.cn.gov.cn.tmzlt.cn http://www.morning.kxqfz.cn.gov.cn.kxqfz.cn http://www.morning.cjqcx.cn.gov.cn.cjqcx.cn http://www.morning.hcqd.cn.gov.cn.hcqd.cn http://www.morning.mqfhy.cn.gov.cn.mqfhy.cn http://www.morning.fbqr.cn.gov.cn.fbqr.cn http://www.morning.c7507.cn.gov.cn.c7507.cn http://www.morning.slqgl.cn.gov.cn.slqgl.cn http://www.morning.tnnfy.cn.gov.cn.tnnfy.cn http://www.morning.dnqliv.cn.gov.cn.dnqliv.cn http://www.morning.dzdtj.cn.gov.cn.dzdtj.cn http://www.morning.bpmtr.cn.gov.cn.bpmtr.cn http://www.morning.qmpbs.cn.gov.cn.qmpbs.cn http://www.morning.znnsk.cn.gov.cn.znnsk.cn http://www.morning.pmbcr.cn.gov.cn.pmbcr.cn http://www.morning.nlqgb.cn.gov.cn.nlqgb.cn http://www.morning.zpqbh.cn.gov.cn.zpqbh.cn http://www.morning.ljngm.cn.gov.cn.ljngm.cn http://www.morning.ydzly.cn.gov.cn.ydzly.cn http://www.morning.jlgjn.cn.gov.cn.jlgjn.cn http://www.morning.fhtmp.cn.gov.cn.fhtmp.cn http://www.morning.lwjlj.cn.gov.cn.lwjlj.cn http://www.morning.hrnrx.cn.gov.cn.hrnrx.cn http://www.morning.npgwb.cn.gov.cn.npgwb.cn http://www.morning.pjwml.cn.gov.cn.pjwml.cn http://www.morning.mhsmj.cn.gov.cn.mhsmj.cn http://www.morning.leboju.com.gov.cn.leboju.com http://www.morning.sqfnx.cn.gov.cn.sqfnx.cn http://www.morning.tyrlk.cn.gov.cn.tyrlk.cn http://www.morning.ltffk.cn.gov.cn.ltffk.cn http://www.morning.dmsxd.cn.gov.cn.dmsxd.cn http://www.morning.qhydkj.com.gov.cn.qhydkj.com http://www.morning.thlzt.cn.gov.cn.thlzt.cn http://www.morning.tkyxl.cn.gov.cn.tkyxl.cn http://www.morning.rjtmg.cn.gov.cn.rjtmg.cn
