网站程序开发费用,php做网站用什么开发工具,甘肃网站建设的过程,外贸营销型网站制作3D 高斯分布是用于实时辐射场渲染的 3D 高斯分布中描述的一种光栅化技术#xff0c;它允许实时渲染从小图像样本中学习到的逼真场景。
paper github
本文翻译整理自#xff1a; blog: Introduction to 3D Gaussian Splatting DDPMs - Part 2
给出一些2D图片#xff0c;用…3D 高斯分布是用于实时辐射场渲染的 3D 高斯分布中描述的一种光栅化技术它允许实时渲染从小图像样本中学习到的逼真场景。
paper github
本文翻译整理自 blog: Introduction to 3D Gaussian Splatting DDPMs - Part 2
给出一些2D图片用colmap得到稀疏 (SfM) 点可重建出逼真的3D场景。 3DGS的核心是光栅化技术。 这类似于计算机图形学中的三角形光栅化用于在屏幕上绘制许多三角形。
图片来自blog 但是它不是三角形是高斯。 这里补充一些高斯相关
正态分布 多元正态分布 协方差 协方差矩阵 每个元素(i, j) 定义了向量的两个随机变量的协方差。 而且对角线上的元素 下面看下两个随机变量负协方差0协方差正协方差时的分布 这是负协方差 3维看上去的效果从顶上看就是上面的左图从侧面看是高斯分布。45度更加平坦。
各向同性高斯 一个例子 回到3D高斯既然是3D那就是3个变量x, y, z) 它由以下参数描述
位置所在的位置 (XYZ) 协方差如何拉伸/缩放3x3 矩阵 颜色它是什么颜色RGB Alpha : 透明度 (α)
3个的高斯叠加在一起的效果 那么700万高斯叠加的效果呢。 运行步骤 1.运动结构 第一步是使用运动结构 (SfM) 方法从一组图像中估计点云。这是一种从一组 2D 图像估计 3D 点云的方法。这可以通过COLMAP库来完成。 2.转换为高斯分布 接下来每个点都转换为高斯分布。这对于光栅化来说已经足够了。然而只能从 SfM 数据推断位置和颜色。为了学习产生高质量结果的表示需要对其进行训练。
3.训练 训练过程使用随机梯度下降类似于神经网络但没有layers。训练步骤为
使用可微分高斯光栅化将高斯光栅化为图像稍后详细介绍 根据光栅化图像和groud truth图像之间的差异计算损失 根据损失调整高斯参数 应用自动致密化和修剪 步骤 1-3 从概念上讲非常简单。第 4 步涉及以下内容
如果对于给定的高斯梯度很大即它太错误则分割/克隆它 如果高斯很小则克隆它 如果高斯很大则将其分割 如果高斯的 alpha 太低将其删除 此过程有助于高斯更好地拟合细粒度细节同时修剪不必要的高斯。 4.可微分高斯光栅化 如前所述3D 高斯分布是一种光栅化方法它将数据绘制到屏幕上。
一些重要的元素还包括 快速 可微分
光栅化涉及 从相机角度将每个高斯投影为 2D。 按深度对高斯进行排序。 对于每个像素从前到后迭代每个高斯将它们混合在一起。 paper中描述了其他优化。
