dz后台网站地图,图片在线制作视频,大宗交易的套路你懂吗,推荐网站建设话术论文阅读三——端到端的帧到凝视估计 主要内容研究问题文章的解题思路文章的主要结构 论文实验关于端到端凝视估计的数据集3种基线模型与EFE模型的对比在三个数据集中与SOTA进行比较 问题分析重要架构U-Net 基础知识 主要内容
文章从端到端的方法出发#xff0c;提出了根据he… 论文阅读三——端到端的帧到凝视估计 主要内容研究问题文章的解题思路文章的主要结构 论文实验关于端到端凝视估计的数据集3种基线模型与EFE模型的对比在三个数据集中与SOTA进行比较 问题分析重要架构U-Net 基础知识 主要内容
文章从端到端的方法出发提出了根据heatmap和sprase depth map生成凝视原点和通过图像帧获得凝视方向将两者结合获得注视点PoG和先前传统的通过裁剪人脸眼睛和脸部特征有所区别并且PoG误差较之前的小。
研究问题
文章所需要解决的问题是远程基于网络摄像头的凝视估计即如何通过通过单个用户面向的、远程放置的摄像头捕捉用户的图像然后利用这些图像来估计用户的凝视方向的问题。譬如远程RGB图像凝视估计(使用面向用户的单个RGB摄像头而无需额外工具如红外光源来更容易地解决凝视估计问题)
在传统的解决方法中有着以下两点难题
传统的学习型远程凝视估计方法通常需要将小的裁剪图像(眼睛或者面部图像)作为输入以预测凝视方向。这些输入以及凝视起源必须根据面部特征的预定义过程生成通常通过数据规范化等方式。
使用基于卷积神经网络CNN的学习型方法输入是简单的裁剪图像 / 通过“数据归一化”过程产生的图像块不会考虑到3D头部姿势而大幅度头部旋转的情况下会导致不同的尺寸和图像比例。为了解决这个问题论文提出了**End-to-end Frame-to-Gaze EstimationEFE方法直接从相机帧**中回归3D凝视起源和3D凝视方向允许模型适应新的相机-屏幕几何结构方法避免了昂贵的数据规范化步骤。但是不可忽视的是原始帧中眼部区域较小且需要对凝视起源进行准确估计。
因此文章作者作出了这样的模型设计
使用全卷积U-Net架构预测凝视起源的2D热图和深度图。利用多层感知机MLP从U-Net架构的瓶颈特征中预测3D凝视方向。使用相机内参和外参参数通过可微分方式将凝视射线与已知屏幕平面相交以得到Point-of-GazePoG。
文章的解题思路
文章在摘要前便直接展示了一张图体现了自身模型与传统的凝视估计不同图像如下 端到端帧到视线估计方法**(EFE)被训练成直接从输入的摄像机帧预测眼睛的凝视**而传统方法有许多的预处理模块人脸检测模块、地标检测模块、数据归一化模块然后进行凝视估计(视差估计)而文章表示他们在跳过这些过程的情况下还可以提升性能
从论文的第一张图片以及摘要我们可以得到作者提出的EFE模型和过去大部分传统模型的差别 传统的凝视方法需要一个或多个眼部或面部区域的裁剪作为输入并产生一个凝视方向向量作为输出。 根据面部标志从输入摄像头帧中裁剪眼部/面部补丁通过拟合通用的3D面部模型估计3D头部姿势进而生成3D凝视起源上图没体现。在摄像机坐标系中输出凝视方向是通过眼睛的凝视行为进行估计的而不仅仅是头部姿势的估计通过将预测的凝视方向与在数据归一化步骤中获得的凝视原点合成可以构建凝视射线。 但是传统凝视方法中的裁剪有好处也有坏处如下 好处在眼部区域获得更高的分辨率并且减少混淆因素衣服、头发。坏处眼部/面部裁剪过程昂贵、容易出错并且对于不同的方法具有特定的实现。 EFE方法构建一个模型实现以端到端的方式直接从相机帧中估计一个包括凝视起源和凝视方向的6D凝视射线3D凝视原点3D凝视方向而无需对面部或眼睛进行任何裁剪。 总之文章提出了一种无需进行面部或眼睛裁剪即可直接从原始帧进行凝视估计的方法在实现简化流程、降低成本的同时实现效果可以与当今最先进的模型进行媲美。
文章的主要结构
为了通过相机帧来确定人眼的注视点PoG文章使用了以下结构 如上图作者提出了一种类似U-Net的体系结构其中输出特征被映射到图像上的2D凝视原点位置和稀疏深度图中它们结合在一起来产生3D凝视原点使用瓶颈特征作为输入利用MLP预测三维视线方向POG是使用预测的凝视原点和凝视方向以及相机转换矩阵来计算的。
(注感觉这里的系数深度图的图像是有问题的可能是作者为了美观而将后面的Gaze Origin Depth的图像前移了否则不会出现范围性的深度结果。) 预测凝视原点 预测2D凝视起源热图和稀疏深度图使用 U-Net-like 结构模型预测一个 2D 凝视起源热图和一个稀疏深度图。 热图和深度图的训练损失 热图的预测使用均方误差损失MSE用于预测热图获得热图后通过softargmax获得。 L h e a t m a p 1 n ∑ i 1 n ∣ ∣ h − h ^ ∣ ∣ 2 2 n W × H h : 预测的凝视原点在相机帧上的 2 D 位置 h ^ 是通过以凝视原点为中心绘制二维高斯而生成的地面真实热图 通过损失函数获得最终的热图后使用 s o f t − a r g m a x 来确定最终的凝视点坐标 L_{heatmap}\frac{1}{n}\sum_{i1}^{n}||h-\hat{h}||_2^2\\ nW×H\\ h:预测的凝视原点在相机帧上的2D位置 \\ \hat{h}是通过以凝视原点为中心绘制二维高斯而生成的地面真实热图\\ 通过损失函数获得最终的热图后使用soft-argmax来确定最终的凝视点坐标 Lheatmapn1i1∑n∣∣h−h^∣∣22nW×Hh:预测的凝视原点在相机帧上的2D位置h^是通过以凝视原点为中心绘制二维高斯而生成的地面真实热图通过损失函数获得最终的热图后使用soft−argmax来确定最终的凝视点坐标 之所以预测凝视原点为热图的概率分布而不是固定的某个点是因为数据集的ground truth本身存在一定的误差可以更好地应对凝视原点位置定义的模糊性和地面实况标签的误差。 对于 2D 凝视起源位置的预测同样使用均方误差损失。深度图的预测则使用 L1 范式损失该损失函数仅考虑到对于可见的用户面部区域的点。- 2D凝视位置损失 L g ∣ ∣ g − g ^ ∣ ∣ 2 2 g ^ 是在摄像头帧上的真实 2 D 凝视位置。 L_g||g-\hat{g}||_2^2\\ \hat{g}是在摄像头帧上的真实 2D 凝视位置。 Lg∣∣g−g^∣∣22g^是在摄像头帧上的真实2D凝视位置。 z h ⋅ d L d ∣ ∣ z − z ^ ∣ ∣ 1 z ^ 是真实的深度值距离 , d : 预测稀疏深度图 zh·d\\ L_d||z-\hat{z}||_1\\ \hat{z}是真实的深度值距离,d:预测稀疏深度图 zh⋅dLd∣∣z−z^∣∣1z^是真实的深度值距离,d:预测稀疏深度图 计算 3D 凝视起源通过将2D图像坐标转换为世界坐标利用相机内参矩阵 K计算 3D 凝视起源 。 # 相机参数矩阵KK np.array([[fx, 0, cx],[0, fy, cy],[0, 0, 1]])# fx,fy是相机的焦距# cx,cy是相机的中心点 热图通过soft-argmax获得一个2D凝视点坐标g(x,y)设该点深度为d。通过相机内参矩阵可以将2D凝视点坐标进行归一化如下操作 u x − c x f x v y − c y f y u\frac{x-c_x}{f_x}\\ v\frac{y-c_y}{f_y} ufxx−cxvfyy−cy 所以得到归一化后的点g1(u,v,1)其中数字1是为了让坐标可以进行齐次坐标转换。 [ x y z 1 ] K − 1 [ u v 1 ] ⋅ d \begin{bmatrix} x \\ y\\ z\\ 1 \end{bmatrix}K^{-1}\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}·d xyz1 K−1 uv1 ⋅d 则o(x,y,z)就是3D的凝视起源坐标。 预测凝视方向 通过映射从图像空间到3D方向的方式进行凝视方向的预测。 使用了类似U-Net的中间瓶颈特征进行凝视方向的预测共享特征提取器的信息。针对凝视方向的预测使用了角度损失 Lr 进行监督。使用角度余弦进行计算损失Lr L r a r c c o s ( r ^ ⋅ r ∣ ∣ r ^ ∣ ∣ ⋅ ∣ ∣ r ∣ ∣ ) L_rarccos(\frac{\hat{r}·r}{||\hat{r}||·||r||}) Lrarccos(∣∣r^∣∣⋅∣∣r∣∣r^⋅r) 如何计算注视点PoG PoG与屏幕平面相交的6D凝视光线由凝视起源和方向组成的交点。 利用凝视起源 o 和凝视方向 r可以获取到屏幕框架的距离 λ*。* λ r ⋅ n s ( a s − o ) ⋅ n s 凝视起点 o , 凝视方向 r 屏幕框架法线 n s 屏幕平面上的样本点 a s ( 用于计算凝视距离 λ 的屏幕平面上的一个随机点 ) \lambda\frac{r·n_s}{(a_s-o)·n_s}\\ 凝视起点o,凝视方向r\\ 屏幕框架法线n_s\\ 屏幕平面上的样本点a_s(用于计算凝视距离 λ 的屏幕平面上的一个随机点) λ(as−o)⋅nsr⋅ns凝视起点o,凝视方向r屏幕框架法线ns屏幕平面上的样本点as(用于计算凝视距离λ的屏幕平面上的一个随机点) PoG的计算 P o G o λ r PoGo\lambda r PoGoλr PoG计算的损失函数 L P o G ∣ ∣ p − p ^ ∣ ∣ —— 2 2 L_{PoG}||p-\hat{p}||——2^2 LPoG∣∣p−p^∣∣——22 综上可以得到凝视估计点而纵观全过程EFE的总体损失函数为 L t o t a l λ g L g λ h L h e a t m a p λ d L d λ P o g L P o G L_{total}\lambda_gL_g\lambda_hL_{heatmap}\lambda_dL_d\lambda_{Pog}L_{PoG} LtotalλgLgλhLheatmapλdLdλPogLPoG
与之前的论文阅读相比作者认为其实现了真正的端到端从原始输入到最终输出的完整流程而不需要手动处理中间步骤或阶段
输入与输出直接相关 EFE 模型从摄像机帧直接预测凝视方向而不需要在中间阶段进行额外的预处理或特征提取。EFE 避免了预处理步骤直接使用原始帧进行训练和推理。这使得模型训练和使用更加直接和全面。EFE 使用整个相机帧作为输入因此可以被视为全图输入模型。
论文实验
关于端到端凝视估计的数据集
数据集任务内容数据处理EVE端到端凝视估计连续视频Tobii Pro Spectrum眼动仪提供地面实况凝视标签创建图像数据集训练集进行0.6的子采样率将帧的大小调整为480 × 270像素GazeCapture端到端凝视估计通过众包方式使用手机和平板电脑进行采集1450多人近250万帧提供原始帧输入和相对于摄像机的PoG假设摄像机和屏幕共面MPIIFaceGaze端到端凝视估计15名受试者的笔记本电脑下的3000张面部图像自然头部运动和各种光照条件提供原始摄像机帧、通过数据归一化估计的3D凝视起源、3D凝视方向以及屏幕上的2D PoG
3种基线模型与EFE模型的对比
文中考虑了3中基线模型分别是方向回归、单独模型和联合预测其对比表格如下
模型/方法特点性能方向回归方法直接估计 PoG不预测凝视起源或凝视方向性能较差独立模型方法通过两个独立的模型估计凝视起源和凝视方向较好的性能因为有更大的模型容量联合预测方法通过共享网络和独立 MLP 联合估计凝视起源和凝视方向使用 PoG 损失进行优化性能较差不能有效地共同学习凝视起源和凝视方向EFE提出的方法通过 U-Net-like 架构使用热图回归凝视起源同时学习稀疏深度图进行凝视方向估计最终通过屏幕平面计算 PoG最佳性能相对于其他方法表现更好尤其在复杂的 EVE 数据集上
其结构图如下 其中联合预测方法作者使用了共享卷积神经网络来提取图像特征然后使用两个独立的多层感知机来分别预测凝视的起源和凝视的方向。这方法与EFE模型是不一样的。
对比结果 在三个数据集中与SOTA进行比较
在EVE数据集中比较效果如下 在GazeCpture数据集中比较效果如下 ITracker方法接受多个输入裁剪的面、左眼、右眼和面占用栅格。 EFE只接受调整大小的原始帧作为输入。 在MPIIGaze数据集中 在15倍交叉验证评估方案下将EFE与最先进的POG估计方法Full-Face、Far-Net和AFF-Net进行了比较从数据上看性能sota模型持平部分领先。
与EFE模型不同其他三个模型都是使用数据归一化后的人脸图像以及通过数据归一化计算的地面真实凝视原点作为输入模型只输出凝视方向而没有生成凝视原点。
问题分析
EVE上PoG残差的直方图通过比较数据归一化计算凝视原点和EFE预测了凝视的来源结果表明我们的端到端学习方法在POG误差方面表现出较小的偏差。图像如下 文章最后还提到了一个效果极好的深度图可视化 文章提到用户的脸是离相机更远还是更靠近相机的粗略概念被捕捉到了。
文章还进行了跨相机评估将EFE模型与FaceNet模型要数据归一化进行了比较。文章指出对数据进行归一化是为了让生成的归一化数据在更多的相机中可以进行使用适配。最后将两个模型在EVE数据集中进行对比其结果如下 说明机器视觉摄像头(MVC)显示器顶部(WC)、左上角(WL)和右上角(WR)上的网络摄像头通过结果图来看在大多数跨摄像头配置中EFE的表现都超过了基于数据归一化的FaceNet在许多情况下EFE的表现要比基于数据标准化的FaceNet高出很多。文章中说在WL摄像头进行训练在WR中进行测试得到的精度EFE模型会明显优于FaceNet提高了16.8.
重要架构
U-Net
可以进行图像分割
组成从图像中提取相关特征的编码器以及获取提取的特征并重建分割掩模的解码器部分。
编码器部分使用了卷积层然后使用ReLU和MaxPool作为特征提取器。解码器部分转置卷积以增加特征图的大小并减少通道数。使用填充来保持卷积运算后特征图的大小相同。 从上图中我们可以发现其没有全连接层随着我们扩展编码器和解码器层中的层数可以有效地越来越“缩小”特征图这样会导致编码器可能会丢弃更详细的特征而选择更一般的特征。
由于深度神经网络在通过连续层传递信息时可能会“忘记”某些特征因此跳过连接可以重新引入它们以使学习变得更强。因此U-Net引入了残差网络 (ResNet) 进行改进从而引入了跳跃连接通过将编码器的某一层的特征图与解码器的对应层的特征图进行拼接而实现的并显示出分类改进以及更平滑的学习梯度使得其具有跳跃连接以确保精细细节不会丢失。 这样的话U-Net有了以下特性 没有全连接层随着编码器和解码器层数的加深提取越通用的特征。将详细功能重新引入解码器的跳过连接。 文章中U-Net-like结构主要是以U-Net为主体U-Net以Efficient V2为主干网络为了更好的训练参数以及加快训练速度。而EfficientV2较Efficient V1进行了改进以fused MBConv模块替换了MBConv模块达到了加快速度的方法如下图
基础知识
face Landmark Detector检测图像或视频中物体的关键点或地标通常指的是人脸的关键点如眼睛的位置、鼻子的位置、嘴巴的位置等。
多层感知机MLP:一种人工神经网络结构由多个神经元层组成通常包括输入层、隐藏层和输出层。
原始帧拍摄场景的视觉信息头部姿势、面部表情、眼部状态等等但是会有很多无用的信息譬如背景、头法衣服等等。
跨人凝视估计在凝视估计任务中模型能够处理和泛化到不同个体的情况使模型具有足够的泛化能力以便在面对新的、不同于训练集的个体时依然能够准确地估计其凝视方向。
凝视起源/原点用户凝视的起始点或者视线的源头即在眼睛的视觉轴上的起始位置。
凝视射线指从眼睛到凝视目标的一条直线。它连接了观察者用户的眼睛位置凝视起源和他们正在凝视的目标的位置形成一个向目标指示的直线。
凝视方向人的眼睛所注视的方向通常以某种坐标系表示凝视方向可以用来描述眼睛的注视点即眼球看向的具体位置或方向通常以空间坐标或相对于某个参考点或平面的角度来表示。
3D原点3D origin 指凝视光线的起点在三维空间中的位置即光线从眼睛的位置发出的点。
3D方向3D direction 指凝视光线的方向即光线的路径或轨迹表示为视线的方向从眼睛指向观察场景的某个点。
注视点Point-of-Gaze观察者注视的具体位置或方向通常以屏幕上的像素坐标表示在凝视估计领域中通常表示用户当前正在屏幕上注视的位置。
Heatmap 二维图像其中的像素值表示了凝视原点gaze origin在输入图像中的可能位置。 训练得到的热图可以被视为对凝视原点位置的概率分布热图用于表示模型对凝视起源位置的预测信心程度。
Depth Map 二维图像其中的像素值表示了凝视原点的深度或距离。深度图提供了凝视原点相对于摄像头的距离信息。通过深度图可以了解观察者注视目标的距离。 文章转载自： http://www.morning.addai.cn.gov.cn.addai.cn http://www.morning.lqchz.cn.gov.cn.lqchz.cn http://www.morning.krdxz.cn.gov.cn.krdxz.cn http://www.morning.hsksm.cn.gov.cn.hsksm.cn http://www.morning.gxeqedd.cn.gov.cn.gxeqedd.cn http://www.morning.kszkm.cn.gov.cn.kszkm.cn http://www.morning.zqkr.cn.gov.cn.zqkr.cn http://www.morning.playmi.cn.gov.cn.playmi.cn http://www.morning.wylpy.cn.gov.cn.wylpy.cn http://www.morning.yfmwg.cn.gov.cn.yfmwg.cn http://www.morning.wqgr.cn.gov.cn.wqgr.cn http://www.morning.fxzgw.com.gov.cn.fxzgw.com http://www.morning.hmqwn.cn.gov.cn.hmqwn.cn http://www.morning.nyzmm.cn.gov.cn.nyzmm.cn http://www.morning.mpngp.cn.gov.cn.mpngp.cn http://www.morning.wjndl.cn.gov.cn.wjndl.cn http://www.morning.nrbcx.cn.gov.cn.nrbcx.cn http://www.morning.nlysd.cn.gov.cn.nlysd.cn http://www.morning.nqrlz.cn.gov.cn.nqrlz.cn http://www.morning.gcrlb.cn.gov.cn.gcrlb.cn http://www.morning.yhpq.cn.gov.cn.yhpq.cn http://www.morning.wyrsn.cn.gov.cn.wyrsn.cn http://www.morning.ksjnl.cn.gov.cn.ksjnl.cn http://www.morning.wklmj.cn.gov.cn.wklmj.cn http://www.morning.cptzd.cn.gov.cn.cptzd.cn http://www.morning.fkyqm.cn.gov.cn.fkyqm.cn http://www.morning.qhmql.cn.gov.cn.qhmql.cn http://www.morning.ctxt.cn.gov.cn.ctxt.cn http://www.morning.gcthj.cn.gov.cn.gcthj.cn http://www.morning.ccdyc.cn.gov.cn.ccdyc.cn http://www.morning.wmmtl.cn.gov.cn.wmmtl.cn http://www.morning.wmmjw.cn.gov.cn.wmmjw.cn http://www.morning.kgjyy.cn.gov.cn.kgjyy.cn http://www.morning.yhpq.cn.gov.cn.yhpq.cn http://www.morning.srbbh.cn.gov.cn.srbbh.cn http://www.morning.qbtkg.cn.gov.cn.qbtkg.cn http://www.morning.zmwd.cn.gov.cn.zmwd.cn http://www.morning.dskmq.cn.gov.cn.dskmq.cn http://www.morning.hqwxm.cn.gov.cn.hqwxm.cn http://www.morning.lqzhj.cn.gov.cn.lqzhj.cn http://www.morning.tqbqb.cn.gov.cn.tqbqb.cn http://www.morning.nuejun.com.gov.cn.nuejun.com http://www.morning.dtnyl.cn.gov.cn.dtnyl.cn http://www.morning.pmlgr.cn.gov.cn.pmlgr.cn http://www.morning.dhtdl.cn.gov.cn.dhtdl.cn http://www.morning.hbnwr.cn.gov.cn.hbnwr.cn http://www.morning.lwygd.cn.gov.cn.lwygd.cn http://www.morning.kgnnc.cn.gov.cn.kgnnc.cn http://www.morning.trkl.cn.gov.cn.trkl.cn http://www.morning.hgbzc.cn.gov.cn.hgbzc.cn http://www.morning.rxhsm.cn.gov.cn.rxhsm.cn http://www.morning.khzml.cn.gov.cn.khzml.cn http://www.morning.yltnl.cn.gov.cn.yltnl.cn http://www.morning.mznqz.cn.gov.cn.mznqz.cn http://www.morning.cflxx.cn.gov.cn.cflxx.cn http://www.morning.ggtgl.cn.gov.cn.ggtgl.cn http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn http://www.morning.zrpbf.cn.gov.cn.zrpbf.cn http://www.morning.mfbzr.cn.gov.cn.mfbzr.cn http://www.morning.wwkft.cn.gov.cn.wwkft.cn http://www.morning.zztmk.cn.gov.cn.zztmk.cn http://www.morning.sfswj.cn.gov.cn.sfswj.cn http://www.morning.mgmqf.cn.gov.cn.mgmqf.cn http://www.morning.yxzfl.cn.gov.cn.yxzfl.cn http://www.morning.wwxg.cn.gov.cn.wwxg.cn http://www.morning.fbdkb.cn.gov.cn.fbdkb.cn http://www.morning.xfhms.cn.gov.cn.xfhms.cn http://www.morning.bqwnp.cn.gov.cn.bqwnp.cn http://www.morning.wsjnr.cn.gov.cn.wsjnr.cn http://www.morning.dmcqy.cn.gov.cn.dmcqy.cn http://www.morning.jfjqs.cn.gov.cn.jfjqs.cn http://www.morning.xxzjb.cn.gov.cn.xxzjb.cn http://www.morning.tqxtx.cn.gov.cn.tqxtx.cn http://www.morning.fglyb.cn.gov.cn.fglyb.cn http://www.morning.rcjyc.cn.gov.cn.rcjyc.cn http://www.morning.twwzk.cn.gov.cn.twwzk.cn http://www.morning.yfstt.cn.gov.cn.yfstt.cn http://www.morning.mwnch.cn.gov.cn.mwnch.cn http://www.morning.bnrff.cn.gov.cn.bnrff.cn http://www.morning.tyjnr.cn.gov.cn.tyjnr.cn
