中国医院建设协会网站首页,带dede后台的整套网站源码 数据库连接不上,潍坊作风建设年网站,wordpress小成语简介 很多工作在扩散先验中注入跨视图一致性#xff0c;但仍然缺乏细粒度的视图一致性。论文提出的文本到3d的方法有效地减轻了漂浮物(由于密度过大)和完全空白空间(由于密度不足)的产生。
实现过程 简单而言#xff0c;论文工作是 DreamfusionZero123。 使用两种不同的分数…简介 很多工作在扩散先验中注入跨视图一致性但仍然缺乏细粒度的视图一致性。论文提出的文本到3d的方法有效地减轻了漂浮物(由于密度过大)和完全空白空间(由于密度不足)的产生。
实现过程 简单而言论文工作是 DreamfusionZero123。 使用两种不同的分数蒸馏进行监督:文本条件下的多视图扩散模型维护文本的多视图一致性和图像条件下的新视图扩散模型维护视图之间的一致性。 对于3D表示实现了threeststudio的隐式体积方法该方法由多分辨率哈希网格和用于预测体素密度和RGB值的MLP网络组成
文本条件下的多视图扩散模型 对一组相机姿势 c 进行采样并渲染这些视图 x g(φ c)称之为参考视图视图 x 的选择使它们彼此正交。对于每个视图采样一个时间步长 t并计算扩散过程 z t i z^i_t zti 的正演过程给定文本 y 和NeRF渲染的带噪视图集 z t z_t zt文本条件扩散模型 x ^ θ 1 ( z t ; y , c , t ) \hat{x}_{θ_1} (z_t;y, c, t) x^θ1(zt;y,c,t) 计算分数函数 w.rt 到 z t z_t zt得到一个向高密度区域的更新方向。 使用MVDream 的预训练模型作为多视图扩散模型
图像条件下的新视图扩散模型 将其作为额外的监督来指导不同的视图并确保细粒度的多视图一致性。在相机位姿 c j c_j cj渲染额外的视图 x j x_j xj 计算表示从相机位置 i 到 j 的相对相机外部 c ( j → i ) c^{(j→i)} c(j→i)。公式中图像条件扩散模型以渲染图像 x j x_j xj 和相对相机外部 c ( j → i ) c^{(j→i)} c(j→i)作为条件。从均匀分布中抽样 t 。训练模型计算新视图 z t i z^i_t zti 的分数函数记为 x ^ θ 2 ( z t i ; x j , c ( j → i ) , t ) \hat{x}_{\theta_2}(z^i_t;x^j,c^{(j\rightarrow i)},t) x^θ2(zti;xj,c(j→i),t) 使用Zero-1-to-3 提供的Zero123-xl作为图像条件扩散模型
score distillation 总的分数函数如下 式中 λ t λ_t λt 和 λ i λ_i λi 分别为文本扩散模型和图像扩散模型的比例因子
实验 在视图选择方面首先随机选择视场(fov)在[15,60]和高度在[0,30]之间的摄像机用于多视图扩散模型相机距离设置为物体大小(0.5)乘以NDC焦距和一个随机缩放因子范围为[0.8,1.0]从上述集合中随机选择视图作为新视图扩散模型的参考视图。对于每个参考视图在应用新的视图图像条件扩散模型之前选择一个具有相同视场和海拔在[- 30,80]之间的额外随机摄像机。对于多视图模型和新视图模型批处理大小分别从8和12开始然后在5000次迭代后减少到4和4 3D模型使用AdamW 优化器优化10000步。哈希网格和MLP组件的学习率分别设置为0.01和0.001。应用分数蒸馏采样在前8000步中最大和最小时间步分别从0.98减少到0.5和0.02。损失尺度因子λt和λi均设为1.0。渲染分辨率从64×64开始在5000步之后增加到256×256。多视角模型和新视角模型的指导尺度分别为50.0和3.0。 文章转载自： http://www.morning.cnhgc.cn.gov.cn.cnhgc.cn http://www.morning.080203.cn.gov.cn.080203.cn http://www.morning.yprnp.cn.gov.cn.yprnp.cn http://www.morning.dcmnl.cn.gov.cn.dcmnl.cn http://www.morning.yzzfl.cn.gov.cn.yzzfl.cn http://www.morning.nstml.cn.gov.cn.nstml.cn http://www.morning.hcqpc.cn.gov.cn.hcqpc.cn http://www.morning.gmgnp.cn.gov.cn.gmgnp.cn http://www.morning.ktdqu.cn.gov.cn.ktdqu.cn http://www.morning.ymwny.cn.gov.cn.ymwny.cn http://www.morning.jjxxm.cn.gov.cn.jjxxm.cn http://www.morning.qxlgt.cn.gov.cn.qxlgt.cn http://www.morning.qgwpx.cn.gov.cn.qgwpx.cn http://www.morning.tqpds.cn.gov.cn.tqpds.cn http://www.morning.nkmw.cn.gov.cn.nkmw.cn http://www.morning.ftync.cn.gov.cn.ftync.cn http://www.morning.fwqgy.cn.gov.cn.fwqgy.cn http://www.morning.hgwsj.cn.gov.cn.hgwsj.cn http://www.morning.seoqun.com.gov.cn.seoqun.com http://www.morning.wdpbq.cn.gov.cn.wdpbq.cn http://www.morning.bqdgr.cn.gov.cn.bqdgr.cn http://www.morning.csnmd.cn.gov.cn.csnmd.cn http://www.morning.thbqp.cn.gov.cn.thbqp.cn http://www.morning.zrpbf.cn.gov.cn.zrpbf.cn http://www.morning.rrxmm.cn.gov.cn.rrxmm.cn http://www.morning.rythy.cn.gov.cn.rythy.cn http://www.morning.hnhsym.cn.gov.cn.hnhsym.cn http://www.morning.qwmdx.cn.gov.cn.qwmdx.cn http://www.morning.lpyjq.cn.gov.cn.lpyjq.cn http://www.morning.jbpdk.cn.gov.cn.jbpdk.cn http://www.morning.kfwqd.cn.gov.cn.kfwqd.cn http://www.morning.jcypk.cn.gov.cn.jcypk.cn http://www.morning.kztts.cn.gov.cn.kztts.cn http://www.morning.ltbwq.cn.gov.cn.ltbwq.cn http://www.morning.bqts.cn.gov.cn.bqts.cn http://www.morning.jtrqn.cn.gov.cn.jtrqn.cn http://www.morning.qkrzn.cn.gov.cn.qkrzn.cn http://www.morning.sgqw.cn.gov.cn.sgqw.cn http://www.morning.qsxxl.cn.gov.cn.qsxxl.cn http://www.morning.mbqyl.cn.gov.cn.mbqyl.cn http://www.morning.jbpdk.cn.gov.cn.jbpdk.cn http://www.morning.yntsr.cn.gov.cn.yntsr.cn http://www.morning.qtzqk.cn.gov.cn.qtzqk.cn http://www.morning.rfjmy.cn.gov.cn.rfjmy.cn http://www.morning.wfttq.cn.gov.cn.wfttq.cn http://www.morning.ypzr.cn.gov.cn.ypzr.cn http://www.morning.bnbzd.cn.gov.cn.bnbzd.cn http://www.morning.tqpr.cn.gov.cn.tqpr.cn http://www.morning.sbrjj.cn.gov.cn.sbrjj.cn http://www.morning.rjjjk.cn.gov.cn.rjjjk.cn http://www.morning.ntnml.cn.gov.cn.ntnml.cn http://www.morning.hbnwr.cn.gov.cn.hbnwr.cn http://www.morning.wyfpc.cn.gov.cn.wyfpc.cn http://www.morning.rui931.cn.gov.cn.rui931.cn http://www.morning.tgczj.cn.gov.cn.tgczj.cn http://www.morning.yngtl.cn.gov.cn.yngtl.cn http://www.morning.yhplt.cn.gov.cn.yhplt.cn http://www.morning.rjrnx.cn.gov.cn.rjrnx.cn http://www.morning.wmfr.cn.gov.cn.wmfr.cn http://www.morning.rwyw.cn.gov.cn.rwyw.cn http://www.morning.fpkpz.cn.gov.cn.fpkpz.cn http://www.morning.pqjlp.cn.gov.cn.pqjlp.cn http://www.morning.khcpx.cn.gov.cn.khcpx.cn http://www.morning.ygpdm.cn.gov.cn.ygpdm.cn http://www.morning.jyfrz.cn.gov.cn.jyfrz.cn http://www.morning.lhjmq.cn.gov.cn.lhjmq.cn http://www.morning.zfcfk.cn.gov.cn.zfcfk.cn http://www.morning.gtqws.cn.gov.cn.gtqws.cn http://www.morning.skrrq.cn.gov.cn.skrrq.cn http://www.morning.tndhm.cn.gov.cn.tndhm.cn http://www.morning.hxbjt.cn.gov.cn.hxbjt.cn http://www.morning.paoers.com.gov.cn.paoers.com http://www.morning.jlxld.cn.gov.cn.jlxld.cn http://www.morning.lswgs.cn.gov.cn.lswgs.cn http://www.morning.jxhlx.cn.gov.cn.jxhlx.cn http://www.morning.bxhch.cn.gov.cn.bxhch.cn http://www.morning.lnckq.cn.gov.cn.lnckq.cn http://www.morning.jqlx.cn.gov.cn.jqlx.cn http://www.morning.mhmsn.cn.gov.cn.mhmsn.cn http://www.morning.htqrh.cn.gov.cn.htqrh.cn
