重庆渝北做网站哪里便宜,服务器域名解析,网易暴雪最新消息,成都哪家做网站建设比较好DeepVisionary 每日深度学习前沿科技推送顶会论文分享#xff0c;与你一起了解前沿深度学习信息#xff01;
引言#xff1a;探索高质量3D对话头像的新方法
在数字媒体和虚拟互动领域#xff0c;高质量的3D对话头像技术正变得日益重要。这种技术能够在虚拟现实、电影…DeepVisionary 每日深度学习前沿科技推送顶会论文分享与你一起了解前沿深度学习信息
引言探索高质量3D对话头像的新方法
在数字媒体和虚拟互动领域高质量的3D对话头像技术正变得日益重要。这种技术能够在虚拟现实、电影制作、视频会议以及各种人机交互场景中找到广泛应用。尽管传统的基于神经辐射场NeRF的方法在生成高保真度的3D对话头像方面取得了一定的成功但这些方法往往面临着成本高昂和面部特征易扭曲的问题。为了解决这些问题本文提出了一种新的基于3D高斯投影3DGS的变形框架——TalkingGaussian它通过对持久头部结构进行变形来生成对话头像从而显著提高了面部动作的精确度和图像的整体质量。
论文标题: TalkingGaussian: Structure-Persistent 3D Talking Head Synthesis via Gaussian Splatting
机构:
School of Computer Science and Engineering, State Key Laboratory of Complex Critical Software Environment, Jiangxi Research Institute, Beihang UniversityInstitute of Semiconductors, Chinese Academy of SciencesSchool of Information and Communication Technology, Griffith UniversityRIKEN AIPThe University of Tokyo
论文链接: https://arxiv.org/pdf/2404.15264.pdf
项目地址: 未提供
通过引入3DGS和面部-口部解耦技术TalkingGaussian不仅能够在不牺牲动态表现力的前提下提供更稳定和准确的头部结构还能够有效避免传统方法中常见的面部特征扭曲问题。此外该方法还采用了增量采样策略优化了变形学习过程进一步提升了模型的学习效率和生成头像的质量。通过广泛的实验验证TalkingGaussian在客观评估和人类判断中均优于现有的最先进方法显示出其在实际应用中的巨大潜力。
3D高斯喷溅技术简介
3D高斯喷溅3D Gaussian Splatting, 3DGS 是一种用于表达三维空间信息的技术通过一组3D高斯原始数据来实现。这些高斯原始数据包括中心位置、缩放因子、旋转四元数、不透明度和颜色特征。在渲染过程中根据相机模型信息这些高斯原始数据被用来计算观察视图下的像素颜色。
3DGS的核心优势在于其明确的空间表达和优化策略。通过梯度下降法优化高斯原始数据的参数结合密集化策略控制原始数据的增长并剪除不必要的数据从而实现高效的颜色监督。这种方法继承了颜色监督的优化策略有效提高了渲染效率和质量。
TalkingGaussian框架详解
TalkingGaussian 是一个基于3DGS的变形驱动的talking head合成框架。该框架的核心思想是通过多个平滑的变形来表达复杂和细粒度的面部动作简化学习任务从而提高面部保真度和合成质量。
持久化高斯场Persistent Gaussian Fields
持久化高斯场保留了具有规范参数的持久化高斯原始数据。这一模块最初通过静态3DGS初始化随后与基于网格的运动场Grid-based Motion Fields共同进行优化。
基于网格的运动场Grid-based Motion Fields
尽管持久化高斯场能有效代表正确的3D头部结构但由于其完全显式的空间结构缺乏区域位置编码。考虑到大多数面部动作在区域上是平滑和连续的我们采用了一个高效且富有表现力的三平面哈希编码器和MLP解码器来构建连续的变形空间。
面部-口内分解Face-Mouth Decomposition
尽管基于网格的运动场可以预测任意位置的点状变形但这种表示仍然存在由面部和口内运动不一致引起的粒度问题。为了解决这一问题我们在3D空间中将这两个区域分解并构建两个单独的优化分支。
训练细节
我们保留了基本的3DGS优化策略来训练我们的框架。整个过程分为三个阶段前两个阶段分别应用于两个分支最后一个阶段用于融合。在动态学习阶段我们将运动场的预测变形加入训练并通过3DGS光栅化器渲染输出图像。最后进行颜色微调阶段以更好地融合头部和口内分支。
通过这种方法TalkingGaussian框架能够有效地解决由不准确的外观预测引起的面部扭曲问题生成高质量、高保真的talking head视频。
面部与口内运动的分解
在TalkingGaussian框架中我们提出了一个面部与口内运动的分解模块以解决这两个区域在动态表达时的运动不一致问题。传统的方法中由于面部和口内区域的运动在空间上非常接近但并不总是同步进行这种运动的不一致性常常导致在单一的运动场中相互干扰从而影响了整体的动态表现和静态结构的重建质量。
为了解决这一问题我们在3D空间中对这两个区域进行了分解并为每个区域构建了独立的优化分支。具体来说我们首先使用现成的面部解析模型获取2D空间中的口内区域语义掩模。然后我们将口内区域的掩膜图像和剩余的表面区域包括面部、头发和其他头部部分分别用于训练两个独立的可变形高斯场作为我们框架的两个分支。
面部分支面部分支主要负责拟合除口内运动外的所有面部运动。在这个分支中我们采用了区域注意力机制来促进由音频特征和上半脸表情特征驱动的条件变形的学习。为了完全解耦这两种条件上半脸表情特征由7个与口部无关的动作单元组成通过区域注意力机制中的注意力向量与音频和表情特征进行运算从而计算出每个位置的区域感知特征。
口内分支口内分支则代表音频驱动的动态口内区域。考虑到口内运动相对简单并且仅由音频驱动我们在这个分支中使用了一个轻量级的可变形高斯场。特别地我们仅预测由音频特征条件化的第i个原始的平移变化。
通过这种面部与口内的分解我们的方法不仅在动态表现上有了显著提升也在静态结构的重建质量上得到了改善。最终的合成头像是通过将两个分支渲染的面部和口内图像融合而成。根据物理结构我们假设口内分支的渲染结果位于面部分支的后面从而实现了更高保真度的合成效果。
实验设置与基线比较
在我们的实验中我们收集了四个高清晰度的说话视频剪辑包括三个男性肖像和一个女性肖像用于构建视频数据集。这些视频剪辑平均长度约为6500帧帧率为25 FPS其中三个“May”“Macron”和“Lieu”被裁剪并调整大小为512×512一个“Obama”调整为450×450。
在实验中我们主要将我们的方法与最相关的NeRF基方法如AD-NeRF、DFRF、RAD-NeRF、GeneFace和ER-NeRF进行比较这些方法通过使用说话视频训练的个人特定辐射场来渲染说话头像。此外我们还将我们的方法与最先进的2D生成模型如Wav2Lip、IP-LAP和DINet进行了比较这些模型不需要个人特定的训练。
在所有实验中我们的方法在静态图像质量、动态运动质量和效率方面均表现最佳。特别是在动态质量方面我们的方法在所有指标上都优于所有NeRF方法。值得注意的是TalkingGaussian在Sync-C得分方面甚至高于生成方法IP-LAP和DINet展示了我们方法的强大建模能力。尽管Wav2Lip在Sync-C得分最高但其在保持个人说话风格方面的不足导致了较差的AUE-L和LMD得分。此外由于3DGS带来的效率提升我们的方法在所有基线中达到了最快的训练和推理速度。
定量评估与用户研究
1. 定量评估
在定量评估方面我们采用了多种度量标准来评估TalkingGaussian方法在合成高质量、高保真度的3D说话头像方面的表现。这些度量标准包括PSNR、LPIPS和SSIM用于评估图像质量以及Sync-C和Sync-D用于评估唇部同步的准确性。此外我们还使用了动作单元误差AUE-U和AUE-L来分别评估上半脸和嘴部动作的准确性。
在自我重建设置中TalkingGaussian在所有指标上均表现优异尤其是在LPIPS和SSIM上显示出其在细节渲染和结构保真度上的优势。此外我们的方法在训练和推理速度上也是所有对比方法中最快的显示了其高效性。
在唇部同步设置中尽管面临跨性别和跨语言的挑战TalkingGaussian仍然展示了出色的泛化性能特别是在处理不同性别的音频输入时表现出了较高的鲁棒性和适应性。
2. 用户研究
为了更好地评估TalkingGaussian在实际应用中的表现我们进行了用户研究。在这项研究中我们邀请了16名参与者对由8种不同方法生成的32个说话头像视频进行评分从唇同步准确性、视频真实感和图像质量三个方面进行评价。
结果显示TalkingGaussian在所有三个方面均获得了最高评分验证了其在生成高质量说话头像视频方面的潜力和实用性。
讨论与未来工作
TalkingGaussian通过采用3D高斯飞溅技术和面部-口内解构模块成功地解决了以往基于NeRF方法在动态区域产生的面部特征扭曲问题。通过将动态说话头部的表示简化为纯粹的形变我们的方法不仅提高了面部保真度还改善了唇部同步的精确度。
尽管我们的方法在多个方面表现优异但仍存在一些限制和未来的改进方向。例如尽管增量采样策略提高了优化过程的稳定性但在3DGS的密集化操作中仍可能偶尔出现噪声原语这有时会影响图像质量。未来我们计划引入更多的约束来更好地控制原语的生长。
此外尽管面部和口内分支通过音频特征进行了对齐但这种连接在某些跨域情况下可能不够紧密。为了解决这个问题我们将探索更好的两部分间的感知机制以增强未来方法的鲁棒性。
总之TalkingGaussian为高质量的3D说话头像合成提供了一种有效的解决方案为数字媒体产业的发展提供了新的技术支持。同时我们也呼吁负责任地使用这项技术以防止其被用于恶意目的。
结论
本文提出了一种新颖的基于变形的框架——TalkingGaussian用于高质量的3D说话头部合成。通过维持一个持久的头部结构并采用高斯溅射技术我们的方法在合成更精确、清晰的说话头部方面超越了以往的方法。通过将面部和口内的动作分解为不同的空间TalkingGaussian有效地解决了由于快速变化的外观预测不准确而导致的“面部扭曲”问题实现了在合成真实和准确的说话头部视频方面的卓越性能。
1. 技术优势和应用潜力
TalkingGaussian通过3D高斯溅射3DGS技术保持了头部结构的持久性并通过变形而非外观修改来表示面部动作这一策略显著提高了面部细节的准确性和动态表现的自然性。此外我们的方法在多个基准测试中显示出优越的视觉质量和效率尤其是在唇部同步和面部保真度方面均优于当前最先进的方法。
2. 道德考量和使用建议
尽管TalkingGaussian为数字媒体行业的发展提供了强大的技术支持但我们也必须警惕其潜在的滥用风险。为防止技术被用于制造虚假信息我们建议在使用此技术时确保所有数据主体的明确同意并在合成产品中明确披露使用了深度伪造技术。此外我们将致力于开发深度伪造检测技术以促进该技术的负责任使用。
3. 限制与未来工作
虽然TalkingGaussian在多个方面表现出色但仍存在一些限制。例如3DGS的密集化操作有时可能导致噪声原始图形的随机出现尽管通过增量采样策略可以在一定程度上缓解这一问题。未来我们计划引入更多约束来更好地控制原始图形的生长以及增强面部和口内分支之间的连接提高模型在跨域输入下的鲁棒性和准确性。
总之TalkingGaussian框架的提出不仅推动了3D说话头部合成技术的发展也为相关领域的研究和应用提供了新的思路和工具。我们期待该技术在未来能够在更广泛的应用场景中展现其价值同时也呼吁社会各界共同努力确保新技术的健康发展和负责任的使用。
关注DeepVisionary 了解更多深度学习前沿科技信息顶会论文分享
