一年网站维护,做网站 租服务器,阳江房产网二手房林夏婷经纪人,seo搜索引擎优化公司还是一篇基于dust3r的稀疏视角重建工作#xff0c;作者联合优化了相机内外参与GS模型#xff0c;实验结果表明优于noposplat。
abstract 在本文中#xff0c;提出了一种新颖的可泛化高斯方法 SmileSplat#xff0c;可以对无约束#xff08;未标定相机的#xff09;稀疏多… 还是一篇基于dust3r的稀疏视角重建工作作者联合优化了相机内外参与GS模型实验结果表明优于noposplat。
abstract 在本文中提出了一种新颖的可泛化高斯方法 SmileSplat可以对无约束未标定相机的稀疏多视图图像的不同场景进行像素对齐级别的高斯面元重建。 首先基于 多头 高斯 回归 解码器 预测高斯面元它可以用较小的自由度表示但具有更好的多视图一致性。 此外我们基于高质量的法向先验增强了高斯面元的法向向量。 其次基于所提出的Bundle-Adjusting高斯泼溅模块对高斯和相机参数外参和内参进行优化以获得用于新颖视图合成任务的高质量高斯辐射场。 在公共数据集上对新颖的视图渲染和深度图预测任务进行了广泛的实验证明所提出的方法在各种 3D 视觉任务中实现了最先进的性能。
1.Introduction 当使用稀疏视角图像例如仅两三张图像进行三维重建时SFM在准确估计3D点元和相机参数方面变得非常困难。这个问题在低纹理场景或快速相机运动中尤为明显有限的图像数量无法为常规优化技术提供足够的约束条件。 为了提高稀疏视图任务中新视角渲染的性能这一领域中探索了通用可泛化的高斯方法。这些方法可以根据是否需要相机参数作为输入分为两类需要相机参数的方法CamPara-Required和不需要相机参数的方法CamPara-Free。 对于CamPara-Required方法给定相机的真实pose和内参网络预测的3D高斯点[4, 6]被渲染到新视角。为了生成准确的高斯基元神经多头解码器首先预测深度点云、协方差和不透明度值。然后使用一个forwardmap渲染模块来优化初始的高斯参数。为了进一步减少对相机参数的依赖 Dust3R[38]和Mast3R[21]等网络在标准系统中预测点云而不是深度图。这些点云被用来初始化3D高斯点[instantsplat]之后再获得相机姿态。然后通过高斯点绘制模块[20]优化高斯参数。由于这两个模块是分开的因此需要额外的迭代来训练适用于这些场景的3D高斯点。 CamPara-Free方法在应用时更为便捷因为它们不需要初始化步骤。然而这些开创性的CamPara-Free方法倾向于直接将基于预测点云的相机标定与高斯点绘制模块集成在一起这限制了通用可泛化高斯辐射场进一步实现高质量的效果。 我们提出了一种新的通用GS架构如图2所示旨在实现不受约束的稀疏视图图像的高保真新视角渲染性能。首先通过forward神经网络预测高斯表面元Gaussian surfels因为这里是高斯面元所以只需要坐标点控制高斯中心尺度控制大小法线控制朝向与3D的高斯基于需要协方差控制方向不一样该网络利用标准的transformer encoderSiamese ViT en- coders [8] and cross-attention embedding blocks从图像中检测几何先验信息。这些深度先验信息以及图像随后被输入到我们提出的多头高斯回归解码器中以预测在标准坐标系中像素对齐的、通用的3D高斯表面元参数。 此外我们基于初始的3D高斯表面考虑几何和光度约束来估计相机的内参矩阵。据我们所知我们的方法是第一个不需要预定义内参就能渲染图像的方法。接下来根据估计的高斯表面元预测图像之间的相对外参矩阵。为了提高预测高斯表面元的一致性我们提出了一种GS Bundle Adjustment方法进一步优化高斯参数、内参和外参。这种优化基于光度和几何约束使我们能够为不受约束的稀疏图像建立缩放的高斯辐射场。 作者的贡献如下 1. 我们提出了一种用于相机未标定和无pose的稀疏视图图像的通用通用高斯泼溅架构。 2.分析了基于Gaussian Splatting的相机参数优化模块实现稀疏图像的精确运动估计。 3. 提出了一种GS Bundle Adjustment方法来产生高质量和尺度的高斯辐射场。
2. Related Work 这个Related Work写的不错这里纯翻译过来了应该多看看。 辐射场在3D视觉领域中因其能够从任意视角生成物体或场景的新视角图像而受到广泛关注。神经辐射场NeRF[26]是其中开创性和最著名的方法之一通过使用多层感知器MLPs隐式表示3D场景能够高效地渲染高质量的新视角图像。然而NeRF的训练和推理速度较慢。后续的研究[2, 3]主要集中在提高渲染质量或提升计算效率上。最近的进展引入了显式的体积结构例如多分辨率体素网格[12, 37]或哈希函数[27]以改善性能。尽管有所改进但逐像素光线行进仍然是渲染速度的瓶颈这在需要实时地图交互的SLAM应用中是一个关键问题。 相比之下3D高斯点绘制3DGS[20]使用各向异性的3D高斯点来表示辐射场并结合可微分点绘制进行渲染。这种方法在快速重建复杂的真实场景并捕捉高频细节方面表现出色。通过遍历光栅化的基元而不是沿着光线进行行进3DGS利用了3D场景的自然稀疏性提供了高保真表示和高效渲染之间的平衡。各种研究已将3D高斯点和可微分渲染应用于静态场景捕捉[7, 43]最近的研究则在动态场景捕捉中展示了更优异的结果。 通用/可泛化GS。类似于多视角立体任务当仅有有限重叠的两张图像输入3D高斯点绘制系统时会出现几个新的挑战因为传统的高斯点绘制系统[20]需要大量图像作为输入。SparseGS[42]通过使用扩散网络来去除离群点和不同类型的渲染深度图来检测漂浮物解决了这些挑战。与依赖从COLMAP[13]或SLAM系统[22]生成的初始点云不同MVSplat[6]和COLMAP-free GS[13]估计目标和源RGB图像的深度图然后将这些深度值转换为点云并基于这些点云初始化高斯椭球的均值向量。得益于Dust3R[38]的点云InstantSplat[11]的高斯点绘制过程相比MonoGS[25]中随机生成的点云更为高效。基于Dust3R中估计的相机参数InstantSplat在渲染过程中优化3D高斯点和相机姿态。然而模块的分离意味着错过了进一步加速高斯点绘制收敛的机会。 与InstantSplat通过Dust3R预测的点云估计相机参数不同pixelSplat[4]直接预测3D高斯点这些高斯点在使用真实相机参数的高斯点绘制光栅化中定义。最近一些无需姿势的新型视图渲染方法[45]使用PnP算法[15]和高斯点绘制SLAM方法[25]估计和优化相机姿态同时将内参参数嵌入到深特征标记中以合理比例预测场景。 与这些方法不同我们的方法为未标定和无姿态的图像预测3D高斯点并基于预测的高斯点估计未知的相机参数。所有这些估计的参数和表示然后通过束调整高斯点绘制模块进行优化以建立高保真的辐射场。
3. Methodology
3.1. Gaussian Surfel Prediction 作者主要使用高斯表面来表达场景主要原因有两个一是高斯模型的多视角一致性很难保证所以在这个意义上来说原始的3D的高斯模型并不适合稀疏重建二是在旋转矩阵方面高斯曲面涉及的参数更少更重要的是与协方差矩阵相比它们更容易训练因为可以利用几个健壮的大型语言模型[1]来训练这个头部。
1.问题设定 先介绍概念细节问题后续解释3D高斯表面通过12个值进行参数化包括颜色位置尺度法向量不透明度 高斯表面基元的协方差矩阵定义为 在的大圆上表示对角矩阵。 细节1. 在的大圆上何为大圆其实就是xyz坐标系中垂直于的一圈向量围成的圆面 细节2.关于公式2的一些理解 2.神经网络架构 我们使用了基于Dust3R百万级图像的预训练模型其中多视角立体图像I1和I2送入两个共享权重的VIT[8]编码器。然后使用self-attention and cross-attention来处理图片token。最后分别用4个head来得到高斯面元的各个属性。 多头高斯回归decoder我们通过估计4个独立的head包括位置尺度向量s表面法向量n不透明度o在的坐标系下预测3D高斯这里注意盯住前面的公式1少了高斯面元的颜色为了减少参数规模高斯面元的颜色直接使用投影到的像素上面对应的颜色来表示。接下来我们看每一个block的具体计算 输出位置P的head主要靠一个偏移量来表示就是说当前预测的P等于前面一步预测的P加上一个偏移量是通过Dust3R网络的pointmap和encoder embeddings输入3层的MLP得到的。 输出法线n的head我们采用了一种U-Net结构根据输入图像和深度embeddings来预测每个像素的表面法线首先我们把这篇工作作为teacher model【Rethinking inductive biases for surface normal estimation】首先使用它的预训练权重得到一个法向量然后来使用它作为监督 输出不透明度的head偏移量低的点更有可能位于精确的表面上因此应该具有更高的不透明度。因此我们通过来自backbone的深度feature注意Dust3R的pointmap本来就是和深度强绑定的和来自位置偏移量head的feature来共同预测出每一个3D高斯的不透明度。 输出尺度的head对于尺度根据前面的定义在2层的mlp中输入pointmap和深度embeddings得到。 现在我们得到了尺度矩阵然后我们根据上面得到的表面法线得到旋转矩阵R由公式2我们可以计算出高斯基元的协方差矩阵也就是形状。
3.2 Camera Parameter Optimization Based on a Single View
1.相机内参估计 由于预测的高斯点与输入图像的像素对齐并且位于第一幅图像的坐标系中因此可以将它们视为处于相机坐标系中。因此未知参数是内参矩阵可以通过该公式进行优化 表示图片坐标uv上的像素GT像素值表示初始化的3D高斯表面通过相机内参K渲染的图片。W,H分别是图片的宽高。 因为现在是在图像I1的相机坐标系下所以在渲染的时候我们无需考虑world2camera变换直接使用相机内参即可这就是第一段提到的直接在相机坐标系下使用3D高斯渲染来优化相机内参。也就是说我们在第一个图片的坐标系下估计相机内参。 论文中这里还列出了cuda里面求导的公式非常详细里面包含了高斯表面到2D图像的各种变换当然了反向传播其实就是链式偏导的公式大家可以详细看看。
2.外参pose估计 在传统的相机位姿估计方法中 [28, 33]常见的方法是将 3D 点云从世界坐标重新投影回图像平面以进行相机跟踪。 然而在本节中我们介绍基于预测的高斯面元的相机姿态估计策略。 我们先根据上面的公式优化了内参然后顺便通过下面的公式在第一个图片的坐标系下迭代优化与第二张图片的相对位姿变换 其中是GT其实就是通过第一张图到第二张图的相对pose来渲染3D高斯表面然后这个渲染图和GT之间的loss反向传播来优化pose也就是公式中的T。
3.3. Bundle-Adjusting Gaussian Splatting 获得初始相机内参和相对相机位姿第 3.2 节后使用 alpha blending算法将高斯面元光栅化为相应的深度图 D1 和 D2。 使用以下变形操作将第二视点的深度图 D2 变换到第一视点 其中Π(·)表示使用估计的内参矩阵K和相对相机pose T 将深度贴图D2从第二相机视图投影到第一相机视图的变换。 然后建立基于深度的几何约束以强制高斯辐射场在几何方面更好的多视图一致性 渲染图像和GT之间的loss 为了联合优化输入稀疏视图的缩放辐射场包括高斯面元以及相机内在和外在参数我们定义了一个综合损失函数来监督细化过程 其中 λ1、λ2 和 λ3 是平衡各个损失项的贡献的加权参数。 这种联合优化允许同时细化高斯面元、相机内在因素和外在因素从而提高稀疏视图辐射场重建的整体性能。联合迭代优化的细节如下 4. Experiments
4.1 baseline 在新的视图合成任务中将最新的方法与所提出的方法进行比较将其分为两类其中第一组方法包括PixelNeRF[47]、AttnRend[9]、PixelSplat[5]和MVSplat[6]在其训练和测试过程中需要相机参数而第二组方法DUSt3R[38]、MASt3R[21]、Splatt3R[35]和NoPoSplat[45]具有估计内外参的能力。 我们在两个大规模数据集上对所提出的方法进行了评估。第一个数据RealEstate10K(Re10K)[50]是从YouTube上的房地产序列中收集的。基于训练/测试分割数据集分别包含29,144个用于训练的场景和7286个用于测试的场景。第二个数据集ACID[24]侧重于从无人机视角收集的自然场景。为了评估提出的方法的重建能力我们进一步评估了其他数据集上的训练模型包括Replica[36]包含多个室内场景的高分辨率图像、深度图以及精确的相机姿态和内参信息。每个场景都是通过 RGBA 摄像头捕捉的并且数据集中还包括了每幅图像的点云表示和ICL-NUIM[14]。 为了进行定量评估我们报告了渲染效果 使用标准图像质量指标的性能包括PSNRSSIM和LPIPS。 前两个指标PSNR 和 SSIM评估渲染图像和观察图像之间的颜色相似性和结构相似性。 第三个指标 LPIPS使用预先训练的神经网络例如 VGG-Net [34]提取的特征来比较两个图像之间的特征级相似性。为了分析渲染性能与输入图像视角重叠程度的关系基于密集特征匹配方法计算了两个输入图像之间的视觉重叠γ[10]。然后按照[45]的方法将重叠程度分为三个级别小(γ≤0.3%)、中(0.3%≤γ≤0.55%)和大(γ≥0.55%)。
4.2 NVS 如表 1 所示在新颖的视图渲染任务中与最先进的方法CamPara-Free 和 CamPara-Required进行了比较。 对于 CamPara-Requiredgs 方法例如 PixelSplat 和 MVSplat与 PixelNeRF 等隐式表示方法相比表现出卓越的渲染质量。 对于CamParafree方法DUSt3R [38]和MASt3R [21]根据输入图像预测像素对齐的点云并且可以使用传统的多视图几何算法来估计和优化其他内在和外在参数。 基于这些方法的架构Splatt3R [35] 和 NoPoSplat [45] 方法引入了额外的头来估计 3D 高斯椭球体的参数这显着地将视觉重叠较小的输入的渲染性能从 14.49 提高到 23.08。 与由房地产序列组成的 Re10K 数据集不同ACID 数据集侧重于自然场景。 然而表1和图3中观察到的趋势也可以在补充材料中看到。 4.3. Cross-Dataset Generalization 如表3所示NoPoSplat 和 SmileSplat 相对于其他无需相机参数CamPara-Free和需要相机参数CamPara-Required的方法展示了更优越的稳健性和准确性。在本节中我们继续通过直接将这两种模型应用于 Replica 序列 [36] 来评估它们的零样本性能。需要注意的是这两种模型都是在 Re10K 数据集上训练的没有在 Replica 数据集上进行任何进一步的微调。。 如表3所示我们的方法在不同的序列中分为三类Small5张图像、Medium12张图像和Large20张图像。在每一类中SmileSplat 一直表现出稳健的性能。具体来说在 Room 1 序列中NoPoSplat 的 PSNR 结果为 27.64而我们的方法将其提高了 25% 到 34.60。然而直接比较 NoPoSplat 的渲染质量时如图4所示渲染图像仍然表现出较高的保真度。 为了更好地理解定量结果和定性结果之间的差距我们计算了渲染图像与对应的真实图像之间的光度距离如图4所示。结果表明渲染图像与真实图像之间的对齐存在显著问题特别是在 Office 序列中。在有纹理的区域NoPoSplat 渲染图像与真实图像之间的光度误差显著较高。由于参考图像的相机姿态是由这些方法自身估计的观察到的现象表明所提出的 SmileSplat 方法在对齐和总体性能上优于 NoPoSplat。 4.4. Ablation Study 我们分析了我们方法中不同模块的性能。如表2所示各种模块设置被集成并测试在 Re10K 数据集基准上。首先我们使用两种不同的初始相机参数估计方法在三个不同的视点View 1、View 2 和 View 3上渲染预测的高斯分布。由于高斯参数是在 View 1 的坐标上预测的因此相机姿态误差在从其他两个视点渲染时会导致性能下降。当我们基于 View 1 和 View 2 的光度损失反馈优化高斯参数时这两个视点的渲染质量显著提高。然而这种优化对新视点View 3的渲染质量影响不大因为 View 3 的相机姿态无法准确估计。这表明虽然少数视点的反馈有助于提高这些特定视点的性能但新视点的准确姿态估计不足限制了整体效果的提升。 文章转载自： http://www.morning.lfttb.cn.gov.cn.lfttb.cn http://www.morning.bqwsz.cn.gov.cn.bqwsz.cn http://www.morning.jcwhk.cn.gov.cn.jcwhk.cn http://www.morning.bpmnx.cn.gov.cn.bpmnx.cn http://www.morning.gbqgr.cn.gov.cn.gbqgr.cn http://www.morning.kwnbd.cn.gov.cn.kwnbd.cn http://www.morning.tfpqd.cn.gov.cn.tfpqd.cn http://www.morning.kpxky.cn.gov.cn.kpxky.cn http://www.morning.djmdk.cn.gov.cn.djmdk.cn http://www.morning.bpmtl.cn.gov.cn.bpmtl.cn http://www.morning.rpsjh.cn.gov.cn.rpsjh.cn http://www.morning.fjshyc.com.gov.cn.fjshyc.com http://www.morning.djbhz.cn.gov.cn.djbhz.cn http://www.morning.wfmqc.cn.gov.cn.wfmqc.cn http://www.morning.cyysq.cn.gov.cn.cyysq.cn http://www.morning.rfzbm.cn.gov.cn.rfzbm.cn http://www.morning.mhsmj.cn.gov.cn.mhsmj.cn http://www.morning.mdplm.cn.gov.cn.mdplm.cn http://www.morning.lpmjr.cn.gov.cn.lpmjr.cn http://www.morning.rbkdg.cn.gov.cn.rbkdg.cn http://www.morning.lfdmf.cn.gov.cn.lfdmf.cn http://www.morning.lpmlx.cn.gov.cn.lpmlx.cn http://www.morning.rxnr.cn.gov.cn.rxnr.cn http://www.morning.qtqjx.cn.gov.cn.qtqjx.cn http://www.morning.brbmf.cn.gov.cn.brbmf.cn http://www.morning.dqdss.cn.gov.cn.dqdss.cn http://www.morning.jppdk.cn.gov.cn.jppdk.cn http://www.morning.zwtp.cn.gov.cn.zwtp.cn http://www.morning.xnfg.cn.gov.cn.xnfg.cn http://www.morning.qsy39.cn.gov.cn.qsy39.cn http://www.morning.xyrss.cn.gov.cn.xyrss.cn http://www.morning.lslin.com.gov.cn.lslin.com http://www.morning.fwcjy.cn.gov.cn.fwcjy.cn http://www.morning.rswfj.cn.gov.cn.rswfj.cn http://www.morning.rljr.cn.gov.cn.rljr.cn http://www.morning.dwmtk.cn.gov.cn.dwmtk.cn http://www.morning.tgtrk.cn.gov.cn.tgtrk.cn http://www.morning.rwjh.cn.gov.cn.rwjh.cn http://www.morning.bktzr.cn.gov.cn.bktzr.cn http://www.morning.yqkxr.cn.gov.cn.yqkxr.cn http://www.morning.ptzf.cn.gov.cn.ptzf.cn http://www.morning.bqpg.cn.gov.cn.bqpg.cn http://www.morning.lgnrl.cn.gov.cn.lgnrl.cn http://www.morning.jmmz.cn.gov.cn.jmmz.cn http://www.morning.xtlty.cn.gov.cn.xtlty.cn http://www.morning.lcjw.cn.gov.cn.lcjw.cn http://www.morning.zymgs.cn.gov.cn.zymgs.cn http://www.morning.rnzbr.cn.gov.cn.rnzbr.cn http://www.morning.fgqbx.cn.gov.cn.fgqbx.cn http://www.morning.gbjxj.cn.gov.cn.gbjxj.cn http://www.morning.kjyfq.cn.gov.cn.kjyfq.cn http://www.morning.kxsnp.cn.gov.cn.kxsnp.cn http://www.morning.rykmf.cn.gov.cn.rykmf.cn http://www.morning.qbfs.cn.gov.cn.qbfs.cn http://www.morning.qdrhf.cn.gov.cn.qdrhf.cn http://www.morning.tzpqc.cn.gov.cn.tzpqc.cn http://www.morning.cbczs.cn.gov.cn.cbczs.cn http://www.morning.yqqgp.cn.gov.cn.yqqgp.cn http://www.morning.tmzlt.cn.gov.cn.tmzlt.cn http://www.morning.yrfxb.cn.gov.cn.yrfxb.cn http://www.morning.yesidu.com.gov.cn.yesidu.com http://www.morning.nxzsd.cn.gov.cn.nxzsd.cn http://www.morning.rnmdp.cn.gov.cn.rnmdp.cn http://www.morning.wrkhf.cn.gov.cn.wrkhf.cn http://www.morning.xlbtz.cn.gov.cn.xlbtz.cn http://www.morning.yrcxg.cn.gov.cn.yrcxg.cn http://www.morning.tnnfy.cn.gov.cn.tnnfy.cn http://www.morning.dwyyf.cn.gov.cn.dwyyf.cn http://www.morning.woyoua.com.gov.cn.woyoua.com http://www.morning.kzcfp.cn.gov.cn.kzcfp.cn http://www.morning.qqhersx.com.gov.cn.qqhersx.com http://www.morning.qgfhr.cn.gov.cn.qgfhr.cn http://www.morning.krkwp.cn.gov.cn.krkwp.cn http://www.morning.qhjkz.cn.gov.cn.qhjkz.cn http://www.morning.bxsgl.cn.gov.cn.bxsgl.cn http://www.morning.ryywf.cn.gov.cn.ryywf.cn http://www.morning.yrcxg.cn.gov.cn.yrcxg.cn http://www.morning.wjhpg.cn.gov.cn.wjhpg.cn http://www.morning.kryxk.cn.gov.cn.kryxk.cn http://www.morning.qfplp.cn.gov.cn.qfplp.cn
