旅游网站模板大全,训做网站的心得体会范文,渠道网络公司官网,网站ip改变 备案1.introduction
基于GAN和扩散模型#xff0c;通过融入多模态引导来调节生成过程#xff0c;从不同的多模态信号中合成图像#xff1b;是为多模态图像合成和编辑使用预训练模型#xff0c;通过在GAN潜在空间中进行反演#xff0c;应用引导函数#xff0c;或调整扩散模型…
1.introduction
基于GAN和扩散模型通过融入多模态引导来调节生成过程从不同的多模态信号中合成图像是为多模态图像合成和编辑使用预训练模型通过在GAN潜在空间中进行反演应用引导函数或调整扩散模型的潜在空间和嵌入。 2.modality foundations
每一种信息源或形式都可以成为模态。
2.1 Visual guidance
视觉引导将特定图像属性编码在像素空间中提供控制。视觉引导编码在2d像素空间中表示为特定类型的图像因此可以通过多种图像编码策略直接进行编码由于编码后的特征在空间上与图像特征对齐可以使用拼接spadecross-attention等方式webui中的图生图通过autoencoderKL产生init_latent文本通常会通过cross-attention融合模型但输入的图像不会。
2.2 Text guidance
clip通过大量的图像-文本对训练产生了信息丰富的文本嵌入广泛用于文本编码。
2.3 Audio guidance
与文本和视觉指导不同音频指导提供了可以用于生成动态或连续视觉内容的时间信息。输入音频片段可以由一系列特征表示这些特征可以是频谱图fBanksMel频率倒谱系数(MFCC)以及预训练的SoundNet模型的隐藏层输出。
2.4 Others modality guidance
3.Methods
多模态图像合成和编辑大致分为5类1.基于GAN的方法2.自回归3.扩散模型4.Nerf5.其他。 3.1 GAN-based Methods
3.1.1 Conditional GANs
CGAN通过额外信息来条件化生成过程。将额外信息输入生成器和判别器网络作为额外的指导来实现生成器学习生成样本既能欺骗判别器又能与指定的条件信息匹配。 条件融合对于目标图像在空间上对准的视觉指导条件可以直接编码为提供生成或编辑的准确空间指导的2d特征存在不同视角或严重变形时编码的2d特征很难捕捉到指导和真实图像之间复杂的场景结构关系可以使用注意力模块来将指导与目标图像对齐简单使用深度网络对视觉指导进行编码是次优的因为在归一化层中部分指导信息会丢失可以使用SPADEspatially-adaptive de-normalization来有效注入指导特征。复杂的条件也可以映射到中间表示以更准确的生成图像音频片段可以映射到面部特征点或3DMM参数以进行说话人脸生成。
模型结构
损失函数gan损失感知损失cycle loss对比损失
3.1.2 Inversion of Unconditional GAN 通过预训练的GAN模型将给定图像逆向映射到GAN的潜在空间中称之为GAN逆向。具体而言预训练的GAN学习从潜在code到真实图像的映射而GAN逆向则将图像映射回潜在code通过将潜在code输入预训练GAN并通过优化来重建图像实现重建度量基于l1,l2,感知损失或lpips在优化过程中可以包含面部身份或潜在code的特定约束通过获得潜在code可以重建原始图像并在潜在空间中进行逼真的图像操作。
显式跨模态对齐
隐式跨模态监督除了将引导模态显式投射到潜在空间中另一种是通过定义生成结果与引导模态之间的一致性损失来引导合成或编辑。styleclip使用clip表示之间的余弦相似度来监督文本引导的操作。
3.2 Diffusion-based methods
3.2.1 Conditional Diffusion models
可以直接将条件信息集成到去噪过程中来指定条件扩散模型。 条件融合使用特定条件编码器将多模态条件投影到嵌入向量中进一步纳入到模型中。特定条件编码器可以随模型一起学习也可以直接从预训练模型中借用比如clip在ldm中通过cross-attention将条件嵌入映射到扩散模型的中间层。
潜空间扩散用自编码器学习与图像空间在感知上等价的潜空间VQ-VAEdalle2clip潜空间。
3.2.2 Pre-trained diffusion models 与重新训练扩散模型相反另一条路是通过适当的简单来引导去噪过程或者微调。
引导函数方法导向函数计算xt和y之间的一致性可以通过某种相似度指标余弦相似度或者l2距离来度量可以使用clip作为图像编码器和文本导向的条件编码器。
微调可以通过修改潜在编码或调整预训练扩散模型来实现为了适应文本引导先通过正向扩散将输入图像转换为潜在空间然后通过反向微调扩散模型以生成由目标文本和clip损失驱动的图像对于预训练的条件模型(通常是文本)类似于GAN反演可以微调文本潜在嵌入或扩散模型以重构图像。另一种方法是利用逐步扩散采样在去噪过程的早期阶段提供内容和结构保留的分数引导。
3.3 Autoregressive methods 通过将扁平化的图像序列视为离散标记可以使用自回归模型包括第一向量量化阶段用于产生统一的离散表示并实现数据压缩第二自回归建模阶段该阶段以栅格扫描的顺序建立离散标记之间的依赖关系。
3.3.1 Vector quantization
将所有图像像素直接视为序列进行自回归消耗太大因此图像的压缩离散很重要VQVAE由编码器特征量化器和解码器组成图像被输入编码器来学习连续表示然后通过特征量化器将其量化为最接近码本条目的特征解码器从量化特征中重建原始图像。
损失函数gan损失感知损失
codebook普通的VQVAE使用argmin(以获取最近的码本条目)会导致严重的码本坍塌问题只有少数码本条目被有效利用来量化引入Gumbel-softmax来替代argminGumbel-softmax允许通过直通梯度估计器以可微的方式对离散表示进行采样增加码本利用率。
3.3.2 Autoregressive modeling
自回归用于适应序列依赖性符合概率的链式法则序列中每个标记的概率都是在先前的所有预测的条件下进行的得到的序列的联合分布是条件概率的乘积在推理过程中每个标记按照顺序进行自回归预测。可以使用滑动窗口策略在利用局部窗口中的预测结果。在多模态图像生成任务中自回归模型基于一个条件概率分布逐像素生成图像这个概率分布考虑了先前生成的像素和给定的条件信息从而使模型能够捕捉到复杂的依赖关系生成视觉上连贯的图像。
网络结构PixelCNN、Parti
双向上下文只关注先前生成结果这种单向策略会受到顺序偏差的影响在自回归接近完成之前忽略了大量的上下文信息并且忽视了不同尺度上的大量上下文信息ImageBart。还有双向transformer伴随着遮蔽视觉标记建模MVTM或遮蔽语言建模MLM机制。
自注意力机制NUMA
3.4 NeRF-based methods
神经辐射场通过用神经场参数化三维场景的颜色和密度NeRF中采用了全连接的神经网络以空间位置(xyz)和相应的观察方向(θφ)作为输入以及相应的体积密度和发射辐亮度作为输出。为了从隐式的三维表示中渲染出二维图像通过数值积分器执行可微体积渲染以逼近难以计算的体积投影积分。 3.4.1 Per-scene NeRF
与原始的NeRF模型一致每个场景的NeRF旨在通过图像或特定的预训练模型来优化和表示单个场景。
图像监督通过配对的指导信息和相应的视图图像可以使用NeRF有条件的训练。AD-NeRF.
预训练模型监督AvatarCIPDreamFusionMagic3DRef-NeRF
3.4.2 Generative NeRF
与逐场景优化的NeRF不同生成式NeRF通过将NeRF与生成模型集成能够推广到不同场景。
3.5 Other methods
3.6 Comparsion and discussion
GAN在FID和Inception分数上实现高保真度的图像生成推理速度快但GAN训练不稳定容易出现模式崩溃问题与基于似然的扩散模型和自回归模型相比GAN更关注保真度而不是捕捉训练数据分布的多样性。此外GAN通常采用卷积网络难以推广到多模态transformer的使用自回归模型可以以通义的方式处理不同的多模态合成任务然而由于自回归模型需要预测标记因此推理速度较慢扩散也是推理速度慢。自回归模型和扩散模型是基于似然的生成模型具有稳定的训练目标和良好的训练稳定性Dalle2中表示扩散要稍优于自回归模型。
与以上主要针对2D图像并对训练数据要求较少的生成方法不同基于NeRF的方法处理3D场景并且对训练数据有较高的要求基于场景优化的NeRF需要有标准的多视图图像或视频序列。
4.Experimental evaluation
4.1 Datasets 4.2 Evaluation Metrics
Inception Score、FID评估图像质量LPIPS评估图像多样性。
4.3 Experimental Results
