书签制作方法,购物网站seo关键词定位,怎么做自己的微信网站,食堂承包技术支持 东莞网站建设原文链接#xff1a;https://arxiv.org/abs/2401.03890
1. 引言
NeRF在计算效率和可控性上具有局限性#xff0c;这导致了3D高斯溅射#xff08;3D GS#xff09;的出现#xff0c;重新定义了场景表达和渲染。
3D GS通过引入新的场景表达技术#xff0c;用大量的3D高斯…原文链接https://arxiv.org/abs/2401.03890
1. 引言
NeRF在计算效率和可控性上具有局限性这导致了3D高斯溅射3D GS的出现重新定义了场景表达和渲染。
3D GS通过引入新的场景表达技术用大量的3D高斯表达场景。3D GS使用显式的表达和高度并行化的工作流程促进高效计算和渲染其创新在于混合了可微渲染与基于点的渲染技术的优势。3D GS保留了连续体积辐射场的理想特性有利于高质量图像渲染同时避免了渲染空空间带来的计算开销。此外3D GS的显式表达提供了对场景的动态控制能力。
2. 背景
2.1 问题定义
2.1.1 辐射场
辐射场是3D空间中光分布的表达捕捉了环境中光与表面和材料的交互。神经场可表达为函数 L : R 5 → R L:\mathbb{R}^5\rightarrow\mathbb{R}^ L:R5→R其中 L ( x , y , z , θ , ϕ ) L(x,y,z,\theta,\phi) L(x,y,z,θ,ϕ)将点 ( x , y , z ) (x,y,z) (x,y,z)和球坐标下的方向 ( θ , ϕ ) (\theta,\phi) (θ,ϕ)映射为非负辐射值。辐射场有显示表达和隐式表达。
2.1.2 隐式辐射场
隐式辐射场不显式地定义场景几何通常使用神经网络学习连续体积场景表达。其代表NeRF使用MLP将坐标与视线方向映射为密度和颜色不会显式存储而是通过查询神经网络在线计算 L implicit ( x , y , z , θ , ϕ ) NeuralNetwork ( x , y , z , θ , ϕ ) L_\text{implicit}(x,y,z,\theta,\phi)\text{NeuralNetwork}(x,y,z,\theta,\phi) Limplicit(x,y,z,θ,ϕ)NeuralNetwork(x,y,z,θ,ϕ)
这一形式允许复制场景可微且紧凑的表达但渲染时的射线行进有较高的计算复杂度。
2.1.3 显式辐射场
显式辐射场直接在离散空间结构中表达光的分布如体素或点集。结构中的每个元素存储了相应位置的辐射信息。这一方法通常能更直接、更快地获取辐射数据但需要大量存储空间且分辨率可能受限。通常形式为 L explicit ( x , y , z , θ , ϕ ) DataStructure [ ( x , y , z ) ] ⋅ f ( θ , ϕ ) L_\text{explicit}(x,y,z,\theta,\phi)\text{DataStructure}[(x,y,z)]\cdot f(\theta,\phi) Lexplicit(x,y,z,θ,ϕ)DataStructure[(x,y,z)]⋅f(θ,ϕ)
其中 DataStructure \text{DataStructure} DataStructure为网格或点云 f f f为基于视线方向修改辐射的函数。
2.1.4 3D高斯溅射
3D GS使用3D高斯作为灵活且高效的表达从而利用了隐式和显式辐射场的优势。高斯可通过基于神经网络的优化来精确表达场景但进行的是显式、结构化的数据存储。这种混合方法能进行高质量渲染且训练更快、有实时性。3D高斯表达可表示为 L 3DGS ( x , y , z , θ , ϕ ) ∑ i G ( x , y , z , μ i , Σ i ) ⋅ c i ( θ , ϕ ) L_\text{3DGS}(x,y,z,\theta,\phi)\sum_iG(x,y,z,\mu_i,\Sigma_i)\cdot c_i(\theta,\phi) L3DGS(x,y,z,θ,ϕ)i∑G(x,y,z,μi,Σi)⋅ci(θ,ϕ)
其中 G G G为高斯函数均值为 μ i \mu_i μi方差为 Σ i \Sigma_i Σi c i c_i ci表示视线相关的颜色。
2.2 上下文和术语
2.2.1 场景重建和渲染
场景重建从一组图像或其它数据建立场景的3D模型。 渲染将计算机可读取的信息如场景中的3D物体转化为图像。 早期技术基于光场生成逼真的图像运动恢复结构SfM与多视图立体MVS算法通过从图像序列估计3D结构来增强光场。
2.2.2 神经渲染和辐射场
神经渲染通过将深度学习与传统图形技术结合生成图像。早期方法使用CNN估计混合权重或纹理空间解。 辐射场函数表达描述从各方向穿过空间各点的光的量。NeRF使用神经网络建模辐射场。
2.2.3 体积表达和射线行进
体积表达不仅将物体和场景表达为表面还表达为填充了材料或空空间的“体”。这样可以对如雾、烟或半透明材料进行更精确的渲染。 射线行进是体积表达渲染图像的技术通过增量跟踪穿过“体”的光线来渲染图像。NeRF引入重要性采样和位置编码增强合成图像的质量。但这一方法计算量大。
2.2.4 基于点的渲染
基于点的渲染使用点而非传统的多边形可视化3D场景对复杂、无结构或稀疏几何数据的渲染非常高效。点可以使用可学习神经描述符增强特征。但这一方法会导致渲染中出现孔或混叠现象。3D GS通过使用各向异性高斯进行更连贯的场景表达。
3. 3D高斯用于显式辐射场
3D高斯可以进行实时、高分辨率的图像渲染而无需依赖神经成分。
3.1 使用学习的3D高斯进行新视图合成
现有由大量3D高斯表达的场景目的是生成特定视角下的相机图像。NeRF使用射线行进采样点影响其实时性而3D GS将3D高斯投影到图像平面称为“溅射”如下图所示。然后对高斯进行排序并计算各像素的值。NeRF和3D GS的渲染可视为互逆关系。 3D高斯的属性一个3D高斯的属性包括中心位置 μ \mu μ不透明度 α \alpha α3D协方差矩阵 Σ \Sigma Σ颜色 c c c。其中 c c c与视角相关由球面谐波表达。所有属性均可学习并通过反向传播优化。 视域剔除给定特定的相机姿态该步骤会判断哪些高斯位于相机的视锥外并在后续步骤中剔除之以节省计算。 溅射3D高斯椭球被投影到2D图像平面椭圆进行渲染。给定视图变换 W W W和3D协方差矩阵 Σ \Sigma Σ投影的2D协方差矩阵 Σ ′ \Sigma Σ′按下式计算 Σ ′ J W Σ W T J T \SigmaJW\Sigma W^TJ^T Σ′JWΣWTJT 其中 J J J为投影变换仿射近似的雅可比矩阵。 像素渲染给定像素的位置 x x x其与所有重叠高斯的距离即高斯的深度可以通过视图变换 W W W计算得到排序后的高斯列表 N \mathcal{N} N。然后进行alpha混合计算该像素的最终颜色 C ∑ i ∈ N c i α i ′ ∏ j 1 i − 1 ( 1 − α j ′ ) C\sum_{i\in\mathcal{N}}c_i\alpha_i\prod_{j1}^{i-1}(1-\alpha_j) Ci∈N∑ciαi′j1∏i−1(1−αj′) 其中 c i c_i ci为学习的颜色最终不透明度 α i ′ \alpha_i αi′为学习不透明度 α i \alpha_i αi与高斯的乘积 α i ′ α i × exp ( − 1 2 ( x ′ − μ i ′ ) T Σ i ′ − 1 ( x ′ − μ i ′ ) ) \alpha_i\alpha_i\times\exp(-\frac{1}{2}(x-\mu_i)^T\Sigma^{-1}_i(x-\mu_i)) αi′αi×exp(−21(x′−μi′)TΣi′−1(x′−μi′)) 其中 x ′ x x′与 μ i ′ \mu_i μi′为投影空间内的坐标。考虑到排序的并行化较为困难这种逐像素的方法可能会影响渲染速度。为实现实时渲染3D GS做出了一些让步以进行并行计算。 TilePatch为避免逐像素计算3D GS改为patch级别的渲染。首先将图像分割为多个不重叠的patch称为tile如上图所示。然后确定tile与投影高斯的相交情况。由于投影高斯可能会与多个tile相交需要进行复制并为每个复制体分配相关tile的标识符如tile的ID。 并行渲染复制后3D GS对应字节的无序列表包含了相关的tile ID对应字节的高位和深度信息对应字节的低位如上图所示。排序后的列表可直接用于渲染alpha混合如下图所示。由于渲染每个tile和像素是独立的这使得该过程适合并行计算。此外每个tile的像素可访问共享空间保留统一的读取序列可以进一步提高效率。可以将tile与像素的处理类比于CUDA程序结构中的块与线程。 总的来说3D GS在前向过程中做出了一些近似以提高计算效率并保留图像合成的高质量。
3.2 3D高斯溅射的优化
3D GS的核心是3D高斯集合的优化过程。一方面需要通过可微渲染来使高斯符合场景纹理另一方面表达场景需要的高斯数量是未知的。这分别对应参数优化与密度控制两步这两步在优化过程中交替进行。优化过程中需要手动设置很多超参数。
3.2.1 参数优化 损失函数图像合成完成后计算渲染图像与真实图像的差异作为损失 L ( 1 − λ ) L 1 λ L D − S S I M \mathcal{L}(1-\lambda)\mathcal{L}_1\lambda\mathcal{L}_{D-SSIM} L(1−λ)L1λLD−SSIM 这与NeRF的损失略有不同。NeRF的损失是在像素层面计算的而非图像层面。 参数更新3D高斯的多数参数可通过反向传播直接更新但对于协方差矩阵 Σ \Sigma Σ来说需要半正定矩阵。因此改为优化四元数 q q q和3D向量 s s s。将协方差矩阵分解 Σ R S S T R T \SigmaRSS^TR^T ΣRSSTRT 其中 R R R与 S S S分别由 q q q和 s s s推导得到的旋转和缩放矩阵。对于不透明度 α \alpha α其计算图较为复杂 ( q , s ) → Σ → Σ ′ → α (q,s)\rightarrow\Sigma\rightarrow\Sigma\rightarrow\alpha (q,s)→Σ→Σ′→α。为避免自动微分的计算消耗3D GS还推导了 q q q与 s s s的梯度在优化过程中直接计算之。
3.2.2 密度控制
初始化3D GS从SfM产生的稀疏点云初始化或随机初始化高斯。然后进行点的密集化和剪枝以控制3D高斯的密度。点的密集化3D GS自适应地增加高斯密度以更好地表达场景细节。该步骤关注缺失几何特征的区域和高斯过度扩张的区域。在固定的迭代次数后执行密集化目标是那些视图空间位置梯度大的高斯。其包括在欠重建区域复制小高斯以及在过重建区域分裂大高斯。前者将复制体沿位置梯度方向移动后者则通过固定的比例因子缩小高斯大小。该步骤寻找3D空间中高斯的最优分布于表达能提高重建质量。点的剪枝该步骤移除冗余或影响较小的高斯可以视为正则化过程。移除的是几乎透明的高斯 α \alpha α在某阈值下或在世界空间/视图空间极其大的高斯。此外为防止输入相机附近的高斯密度不合理地增加这些高斯会在固定次数的迭代后将 α \alpha α设置为接近0的值。该步骤在保证高斯的精度和有效性的情况下能节约计算资源。
4. 应用领域和任务
4.1 同时定位和建图SLAM
SLAM需要让设备实时理解自身位置并同时为环境建图因此计算量大的表达技术难以应用。
传统SLAM使用点/surfel云或体素网格表达环境。3D GS的优势在于高效性自适应控制高斯密度、精确性各向异性高斯能建模环境细节、适应性能用于各种尺度和复杂度的环境。
4.2 动态场景建模
动态场景建模需要捕捉和表达场景随时间变化的的3D结构和外表。需要建立 能精确反映场景中物体几何、运动和视觉方面的数字模型。4D高斯溅射通过扩展3D高斯溅射的概念引入时间维度使得可以表达和渲染动态场景。
4.3 AI生成内容AIGC
AIGC是人工智能自动创建或极大修改的数字内容可以模仿、扩展或增强人类生成的内容。
3D GS的显式特性、实时渲染能力和可编辑水平使其与AIGC高度相关。例如有方法使用3D GS与生成模型、化身或场景编辑结合。
4.4 自动驾驶
自动驾驶的目标是在无人干涉的情况下导航并操作车辆其主要目标是安全而高效地感知环境、做出决策和操作执行器。
其中感知和理解环境需要实时重建驾驶场景精确识别静态和动态物体并理解其相互关系和运动。动态驾驶场景中场景还会随时间连续变化。3D GS可以通过混合数据点如激光雷达点将场景重建为连贯表达有利于处理数据点变化的密度以及静态背景和动态物体的精确重建。
5. 性能比较
5.1 性能基准定位
数据集Replica。基准算法Gaussian-SLAM、GS-SLAM、SplaTAM、GSS-SLAM。评估指标均方根误差RMSE、绝对轨迹误差ATE测量传感器运动轨迹上真实位置与估计位置欧式距离的均方根。结果基于3D高斯的SLAM方法能超过基于NeRF的密集视觉SLAM。
5.2 性能基准静态场景渲染
数据集Replica。基准算法Gaussian-SLAM、GS-SLAM、SplaTAM、GSS-SLAM。评估指标峰值信噪比PSNR、结构相似性SSIM、学习的感知图像patch相似性LPIPS衡量RGB渲染性能。结果基于3D高斯的方法能超过基于NeRF的方法。
5.3 性能基准动态场景渲染
数据集D-NeRF。基准算法CoGS、4D-GS、GauFRe、4DGS。评估指标PSNR、SSIM、LPIPS用于衡量RGB渲染性能。结果3D GS能大幅超过基于NeRF的SotA。但静态版本的3D GS对动态场景的重建是失败的。
5.4 性能基准驾驶场景渲染
数据集nuScences。基准算法DrivingGaussian。评估指标PSNR、SSIM、LPIPS用于衡量RGB渲染性能。结果3D GS方法能大幅超过基于NeRF的方法。
5.5 性能基准人的化身
该任务的目标是从给定的多视角视频渲染人体化身模型。
数据集ZJU-MoCap。基准算法GART、Human101、HUGS、3DGS-Avatar。评估指标PSNR、SSIM、LPIPS*LPIPS × 1000 \times 1000 ×1000用于衡量RGB渲染性能。结果基于3D GS的方法能在渲染质量和速度上均有优势。
6. 未来研究方向
数据高效的3D GS解决方案从少量数据点中进行新视图生成和场景重建很重要。目前的方法引入深度信息、密集概率分布、像素到高斯的映射来促进该能力。此外在观测不足的区域3D GS会产生伪影可尝试在这些区域进行数据插值或整合。存储高效的3D GS解决方案3D GS的可放缩性较差在大尺度环境中需要大量的存储。需要优化训练阶段和模型的存储利用。可以探索更多高效的数据结构和先进的压缩技术。先进的渲染算法目前3D GS的渲染算法较为直接可见性算法会导致高斯深度/混合顺序的剧烈切换需要实施更先进的渲染算法以模拟光与材料属性的复杂相互作用。可结合传统计算机图形学的方法。此外还可探索逆渲染。优化与正则化各向异性高斯会导致不期望的视觉伪影。使用抗混叠可以减轻深度和混合顺序的突然变化。增强优化算法可能更好地控制高斯。使用正则化可以增加收敛速度平滑视觉噪声或提高图像质量。此外3D GS中大量的超参数也会影响3D GS的泛化性。网孔重建中的3D高斯可探索3D GS在网孔重建中的潜力从而缩小体积渲染和传统基于表面的方法的差距以便提出新的渲染技巧和应用。赋予3D GS更多可能性可以为3D高斯附加传统属性如语言学的或物理学的属性用于特定应用。目前已有方法使用3D GS进行相机姿态估计、手-物体交互作用的捕获、不确定性的量化。 文章转载自： http://www.morning.dyght.cn.gov.cn.dyght.cn http://www.morning.xfdkh.cn.gov.cn.xfdkh.cn http://www.morning.qrzqd.cn.gov.cn.qrzqd.cn http://www.morning.wktbz.cn.gov.cn.wktbz.cn http://www.morning.ntwxt.cn.gov.cn.ntwxt.cn http://www.morning.lmcrc.cn.gov.cn.lmcrc.cn http://www.morning.xwbwm.cn.gov.cn.xwbwm.cn http://www.morning.muzishu.com.gov.cn.muzishu.com http://www.morning.nydgg.cn.gov.cn.nydgg.cn http://www.morning.bwhcl.cn.gov.cn.bwhcl.cn http://www.morning.nzlsm.cn.gov.cn.nzlsm.cn http://www.morning.rqkck.cn.gov.cn.rqkck.cn http://www.morning.kwcnf.cn.gov.cn.kwcnf.cn http://www.morning.zlqyj.cn.gov.cn.zlqyj.cn http://www.morning.nkyc.cn.gov.cn.nkyc.cn http://www.morning.mrgby.cn.gov.cn.mrgby.cn http://www.morning.sfmqm.cn.gov.cn.sfmqm.cn http://www.morning.dbqcw.com.gov.cn.dbqcw.com http://www.morning.tcfhs.cn.gov.cn.tcfhs.cn http://www.morning.mcjxq.cn.gov.cn.mcjxq.cn http://www.morning.mspkz.cn.gov.cn.mspkz.cn http://www.morning.txrq.cn.gov.cn.txrq.cn http://www.morning.fbpyd.cn.gov.cn.fbpyd.cn http://www.morning.zcfmb.cn.gov.cn.zcfmb.cn http://www.morning.bgkk.cn.gov.cn.bgkk.cn http://www.morning.hmlpn.cn.gov.cn.hmlpn.cn http://www.morning.nxrgl.cn.gov.cn.nxrgl.cn http://www.morning.ldcsw.cn.gov.cn.ldcsw.cn http://www.morning.sfphz.cn.gov.cn.sfphz.cn http://www.morning.nrzkg.cn.gov.cn.nrzkg.cn http://www.morning.sskhm.cn.gov.cn.sskhm.cn http://www.morning.gxcit.com.gov.cn.gxcit.com http://www.morning.lzph.cn.gov.cn.lzph.cn http://www.morning.nmkfy.cn.gov.cn.nmkfy.cn http://www.morning.lxthr.cn.gov.cn.lxthr.cn http://www.morning.wphzr.cn.gov.cn.wphzr.cn http://www.morning.ysllp.cn.gov.cn.ysllp.cn http://www.morning.wmfr.cn.gov.cn.wmfr.cn http://www.morning.xxrgt.cn.gov.cn.xxrgt.cn http://www.morning.dwzwm.cn.gov.cn.dwzwm.cn http://www.morning.phgz.cn.gov.cn.phgz.cn http://www.morning.nyplp.cn.gov.cn.nyplp.cn http://www.morning.tbplf.cn.gov.cn.tbplf.cn http://www.morning.rnribht.cn.gov.cn.rnribht.cn http://www.morning.trkhx.cn.gov.cn.trkhx.cn http://www.morning.bwygy.cn.gov.cn.bwygy.cn http://www.morning.rqnhf.cn.gov.cn.rqnhf.cn http://www.morning.mfrb.cn.gov.cn.mfrb.cn http://www.morning.snmsq.cn.gov.cn.snmsq.cn http://www.morning.gbnsq.cn.gov.cn.gbnsq.cn http://www.morning.mzhh.cn.gov.cn.mzhh.cn http://www.morning.wjlrw.cn.gov.cn.wjlrw.cn http://www.morning.kjlia.com.gov.cn.kjlia.com http://www.morning.dlurfdo.cn.gov.cn.dlurfdo.cn http://www.morning.lsbjj.cn.gov.cn.lsbjj.cn http://www.morning.xfxnq.cn.gov.cn.xfxnq.cn http://www.morning.rcmwl.cn.gov.cn.rcmwl.cn http://www.morning.gwdnl.cn.gov.cn.gwdnl.cn http://www.morning.kfmlf.cn.gov.cn.kfmlf.cn http://www.morning.ygkk.cn.gov.cn.ygkk.cn http://www.morning.rjznm.cn.gov.cn.rjznm.cn http://www.morning.snrbl.cn.gov.cn.snrbl.cn http://www.morning.rcjyc.cn.gov.cn.rcjyc.cn http://www.morning.nmfml.cn.gov.cn.nmfml.cn http://www.morning.fbhmn.cn.gov.cn.fbhmn.cn http://www.morning.btgxf.cn.gov.cn.btgxf.cn http://www.morning.tdcql.cn.gov.cn.tdcql.cn http://www.morning.lgsfb.cn.gov.cn.lgsfb.cn http://www.morning.jzbjx.cn.gov.cn.jzbjx.cn http://www.morning.sfnjr.cn.gov.cn.sfnjr.cn http://www.morning.xzlp.cn.gov.cn.xzlp.cn http://www.morning.gydsg.cn.gov.cn.gydsg.cn http://www.morning.gxfpk.cn.gov.cn.gxfpk.cn http://www.morning.mjbjq.cn.gov.cn.mjbjq.cn http://www.morning.pqbkk.cn.gov.cn.pqbkk.cn http://www.morning.shyqcgw.cn.gov.cn.shyqcgw.cn http://www.morning.rqbr.cn.gov.cn.rqbr.cn http://www.morning.xbhpm.cn.gov.cn.xbhpm.cn http://www.morning.cwqrj.cn.gov.cn.cwqrj.cn http://www.morning.wfttq.cn.gov.cn.wfttq.cn
