建立网站商城建议,沈阳seo关键词排名优化软件,虫虫 wordpress 群发,优化大师免费下载目录
摘要
Abstract
TDM
SDM
SNF
测试时的人物细节捕捉
主要贡献
总结 摘要
本周阅读了一篇2024年CVPR的关于高保真度、以人物为中心的图像合成方法的论文#xff1a;High-fidelity Person-centric Subject-to-Image Synthesis。该论文提出了一种名为Face-diffuser的…目录
摘要
Abstract
TDM
SDM
SNF
测试时的人物细节捕捉
主要贡献
总结 摘要
本周阅读了一篇2024年CVPR的关于高保真度、以人物为中心的图像合成方法的论文High-fidelity Person-centric Subject-to-Image Synthesis。该论文提出了一种名为Face-diffuser的生成管道旨在解决现有方法在训练不平衡和质量妥协问题上的不足通过独立微调两个专门的预训练扩散模型来实现人物和语义场景的合成。 Abstract
This week, I read a paper from CVPR 2024 on a high-fidelity, person-centric image synthesis method titled High-fidelity Person-centric Subject-to-Image Synthesis. The paper proposes a generative pipeline called Face-diffuser, aimed at addressing the shortcomings of existing methods in terms of training imbalance and quality compromise. It achieves the synthesis of subjects and semantic scenes by independently fine-tuning two specialized pre-trained diffusion models. 论文链接2311.10329 (arxiv.org)
作者Yibin Wang, Weizhong Zhang, Jianwei Zheng, Cheng Jin
该论文以现有的人物到图像合成方法面临着训练不平衡和质量妥协的问题导致在联合学习中无法优化人物生成的质量为研究背景 。为了解决上述问题研究者提出了Face-diffuser这是一个有效的协作生成管道用于人物和语义场景的合成 。Face-diffuser首先独立微调两个基于稳定扩散的专门预训练扩散模型Text-driven Diffusion Model (TDM)和Subject-augmented Diffusion Model (SDM)分别用于场景和人物生成 。
效果图如下所示 Face-diffuser的采样过程分为三个连续阶段
语义场景构建使用TDM构建初步的语义场景。人物-场景融合TDM和SDM基于有效的协作机制Saliency-adaptive Noise FusionSNF进行协作将人物融入场景中。人物增强进一步使用SDM来细化生成人物的质量。
网络结构图如下所示 TDM Stable diffusion (SD) is employed as our TDM. For semantic scene generation, given the semantic scene prompt c and the input image x, the VAE first encodes the x into a latent representation z, perturbed by Gaussian noise ε to get at t step during diffusion. Then the text encoder ψ maps semantic scene prompts c to conditional embeddings ψ(c) which would be integrated into the denoiser , U-Net through cross-attention [8, 9, 29, 32]. The training objective is to minimize the loss function as follows: During inference, a random noise is sampled from a normal distribution N (0, 1), and this noise is iteratively denoised by the U-Net to produce the initial latent representation . Subsequently, the VAE decoder maps these latent codes back to pixel space to generate the final image. 稳定扩散SD被用作我们的文本驱动扩散模型TDM。对于语义场景生成给定语义场景提示c和输入图像x变分自编码器VAE首先将x编码成潜在表示z通过高斯噪声ε扰动得到扩散过程中第t步的。然后文本编码器ψ将语义场景提示c映射到条件嵌入ψ(c)这些嵌入将通过交叉注意力机制[8, 9, 29, 32]整合到去噪器U-Net中。训练目标是最小化如下损失函数 推理过程中从标准正态分布 N(0,1)中采样一个随机噪声 ϵ并由 U-Net 迭代去噪以产生初始的潜在表示。随后VAE 解码器将这些潜在编码映射回像素空间以生成最终图像 。 SDM The SDM model tailored for subject generation is also based on the SD model but includes an additional reference image condition r . Inspired by previous works like [17, 34], we adopt a tuning-free approach by enhancing text prompts with visual features extracted from reference images. When given a text prompt and a list of reference images, we begin by encoding the text prompt and reference subjects into embeddings using pre-trained CLIP text and image encoders, respectively. Following this, we replace the user-specific word embeddings with these visual features and input the resulting augmented embeddings into a multilayer perceptron (MLP). This process yields the final conditioning embeddings, denoted as . The loss function of SDM closely resembles the one in Eq. (1), wi th the substitution of ψ ( c ) by . 为生成主体而定制的SDM模型也基于SD模型但包括一个额外的参考图像条件 r。受到像 [17, 34] 这样的先前工作的启发我们采用了一种无需调整的方法通过从参考图像中提取视觉特征来增强文本提示。当给定一个文本提示和一系列参考图像时我们首先使用预训练的CLIP文本和图像编码器分别对文本提示和参考主体进行编码生成嵌入。接下来我们用这些视觉特征替换用户特定的词嵌入并将生成的增强嵌入输入到多层感知器MLP中。这个过程产生了最终的条件嵌入记作。SDM的损失函数与方程1中的非常相似只是将 ψ(c)替换为。 SNF 请注意响应和实际上评估了语义场景和参考图像对预测噪声中每个像素的影响具有较大值的区域意味着这些条件对这些像素有显著影响这自然定义了TDM和STM在这一步的责任。
正式地我们首先基于 和 定义以下两个显著性图 其中操作符 Abs(⋅)计算输入变量的绝对值而 Smooth(⋅) 函数用于减少高频噪声有效地消除局部异常值并增强相邻区域的一致性。和 的实证验证即它们的视觉化呈现在第4.3节。
给定 和 我们继续通过比较这两个显著性图来开发显著性自适应融合掩码 这里的softmax操作至关重要因为 和 的值可能有不同的量级它确保每个显著性图的总和保持不变从而使它们可比较。掩码 M 被用来定义协作机制即 和 的像素分别在生成过程中分配给TDM和SDM。
最后可以通过以下过程获得融合后的噪声 这里的 ⊙ 表示哈达玛积即元素对应的乘积为了简化表示我们省略了 t。需要注意的是在每个采样步骤中两个模型都以混合后的 作为输入这有助于自动实现两个模型噪声空间的语义对齐。 SNF是一种基于分类器自由引导CFG的细粒度协作机制可以无缝集成到DDIM采样过程中 。在每一步中SNF利用两个模型的CFG响应来生成一个适应于显著性的掩码自动分配区域给它们进行合成。 测试时的人物细节捕捉
为了在测试时捕获并保留参考图像中给出的人物细节Face-diffuser让SDM中的CFG响应成为有无参考人物图像之间的噪声差异从而忽略文本条件的影响 。这种设置无疑指导SDM将显著性仅集中在与人物相关的区域从而实现更高精度的人物生成 。 主要贡献
提出的Face-diffuser打破了现有人物到图像生成方法中的训练不平衡和质量妥协问题 。通过有效的协作机制Face-diffuser能够在测试时生成高质量样本人物和语义场景生成器在不同时间步骤和不同图像中负责不同区域实现灵活的演变合作 。 总结
Face-diffuser通过独立微调和细粒度协作机制显著提高了人物和语义场景生成的高保真度。这种方法为解决现有人物到图像合成方法中的问题提供了一种有效的解决方案并为未来的研究和应用提供了新的方向 。
下周将继续学习扩散生成模型有关内容。
如有错误请各位大佬指出谢谢 文章转载自： http://www.morning.czcbl.cn.gov.cn.czcbl.cn http://www.morning.nlkjq.cn.gov.cn.nlkjq.cn http://www.morning.xnqjs.cn.gov.cn.xnqjs.cn http://www.morning.wdnkp.cn.gov.cn.wdnkp.cn http://www.morning.llxns.cn.gov.cn.llxns.cn http://www.morning.rrms.cn.gov.cn.rrms.cn http://www.morning.wyrkp.cn.gov.cn.wyrkp.cn http://www.morning.lhhdy.cn.gov.cn.lhhdy.cn http://www.morning.ltffk.cn.gov.cn.ltffk.cn http://www.morning.jjtwh.cn.gov.cn.jjtwh.cn http://www.morning.dlrsjc.com.gov.cn.dlrsjc.com http://www.morning.pmtky.cn.gov.cn.pmtky.cn http://www.morning.pplxd.cn.gov.cn.pplxd.cn http://www.morning.txltb.cn.gov.cn.txltb.cn http://www.morning.kjxgc.cn.gov.cn.kjxgc.cn http://www.morning.nrqtk.cn.gov.cn.nrqtk.cn http://www.morning.jrksk.cn.gov.cn.jrksk.cn http://www.morning.ychrn.cn.gov.cn.ychrn.cn http://www.morning.yfwygl.cn.gov.cn.yfwygl.cn http://www.morning.ryyjw.cn.gov.cn.ryyjw.cn http://www.morning.mumgou.com.gov.cn.mumgou.com http://www.morning.dgfpp.cn.gov.cn.dgfpp.cn http://www.morning.rnmdp.cn.gov.cn.rnmdp.cn http://www.morning.khclr.cn.gov.cn.khclr.cn http://www.morning.jqkrt.cn.gov.cn.jqkrt.cn http://www.morning.xzrbd.cn.gov.cn.xzrbd.cn http://www.morning.nbiotank.com.gov.cn.nbiotank.com http://www.morning.xlyt.cn.gov.cn.xlyt.cn http://www.morning.bpmnq.cn.gov.cn.bpmnq.cn http://www.morning.kaakyy.com.gov.cn.kaakyy.com http://www.morning.fyglg.cn.gov.cn.fyglg.cn http://www.morning.qyhcm.cn.gov.cn.qyhcm.cn http://www.morning.tzzxs.cn.gov.cn.tzzxs.cn http://www.morning.phgz.cn.gov.cn.phgz.cn http://www.morning.jygsq.cn.gov.cn.jygsq.cn http://www.morning.jfxth.cn.gov.cn.jfxth.cn http://www.morning.qhkx.cn.gov.cn.qhkx.cn http://www.morning.tmtrl.cn.gov.cn.tmtrl.cn http://www.morning.zlgbx.cn.gov.cn.zlgbx.cn http://www.morning.tqjks.cn.gov.cn.tqjks.cn http://www.morning.rqknq.cn.gov.cn.rqknq.cn http://www.morning.dmwck.cn.gov.cn.dmwck.cn http://www.morning.kjrlp.cn.gov.cn.kjrlp.cn http://www.morning.qncqd.cn.gov.cn.qncqd.cn http://www.morning.bkpbm.cn.gov.cn.bkpbm.cn http://www.morning.mfltz.cn.gov.cn.mfltz.cn http://www.morning.kxqwg.cn.gov.cn.kxqwg.cn http://www.morning.ryysc.cn.gov.cn.ryysc.cn http://www.morning.rqjfm.cn.gov.cn.rqjfm.cn http://www.morning.rbbgh.cn.gov.cn.rbbgh.cn http://www.morning.pskjm.cn.gov.cn.pskjm.cn http://www.morning.yhpl.cn.gov.cn.yhpl.cn http://www.morning.hwcgg.cn.gov.cn.hwcgg.cn http://www.morning.xllrf.cn.gov.cn.xllrf.cn http://www.morning.nckzt.cn.gov.cn.nckzt.cn http://www.morning.bktly.cn.gov.cn.bktly.cn http://www.morning.kqglp.cn.gov.cn.kqglp.cn http://www.morning.lkthj.cn.gov.cn.lkthj.cn http://www.morning.cgstn.cn.gov.cn.cgstn.cn http://www.morning.bpzw.cn.gov.cn.bpzw.cn http://www.morning.yfstt.cn.gov.cn.yfstt.cn http://www.morning.wjhdn.cn.gov.cn.wjhdn.cn http://www.morning.tbplf.cn.gov.cn.tbplf.cn http://www.morning.jmmzt.cn.gov.cn.jmmzt.cn http://www.morning.wmsgt.cn.gov.cn.wmsgt.cn http://www.morning.xxwl1.com.gov.cn.xxwl1.com http://www.morning.xdjwh.cn.gov.cn.xdjwh.cn http://www.morning.qyfrd.cn.gov.cn.qyfrd.cn http://www.morning.mdjzydr.com.gov.cn.mdjzydr.com http://www.morning.gjsjt.cn.gov.cn.gjsjt.cn http://www.morning.rhfh.cn.gov.cn.rhfh.cn http://www.morning.srjgz.cn.gov.cn.srjgz.cn http://www.morning.lpmdy.cn.gov.cn.lpmdy.cn http://www.morning.zwppm.cn.gov.cn.zwppm.cn http://www.morning.kgfsz.cn.gov.cn.kgfsz.cn http://www.morning.xsrnr.cn.gov.cn.xsrnr.cn http://www.morning.gnfkl.cn.gov.cn.gnfkl.cn http://www.morning.sjbty.cn.gov.cn.sjbty.cn http://www.morning.rrxgx.cn.gov.cn.rrxgx.cn http://www.morning.mxhgy.cn.gov.cn.mxhgy.cn
