弄个网站需要多少钱,哪个网站是专门做男人衣服的,锦州网站建设最低价,东营区综合频道在线直播观看#x1f33a;系列文章推荐#x1f33a; 扩散模型系列文章正在持续的更新#xff0c;更新节奏如下#xff0c;先更新SD模型讲解#xff0c;再更新相关的微调方法文章#xff0c;敬请期待#xff01;#xff01;#xff01;#xff08;本文及其之前的文章均已更新… 系列文章推荐 扩散模型系列文章正在持续的更新更新节奏如下先更新SD模型讲解再更新相关的微调方法文章敬请期待本文及其之前的文章均已更新 SD模型原理 Stable Diffusion概要讲解Stable diffusion详细讲解Stable Diffusion的加噪和去噪详解Diffusion ModelStable Diffusion核心网络结构——VAEStable Diffusion核心网络结构——CLIP Text EncoderStable Diffusion核心网络结构——U-NetStable Diffusion中U-Net的前世今生与核心知识SD模型性能测评Stable Diffusion经典应用场景SDXL的优化工作 微调方法原理 DreamBoothLoRALORA及其变种介绍ControlNetControlNet文章解读Textual Inversion 和 Embedding fine-tuning 目录
Stable Diffusion模型工作流程
CLIP
U-Net and Schedule算法
VAE
Stable Diffusion模型核心基础原理
【1】扩散模型的基本原理详解
【2】扩散模型的前向扩散过程详解
【3】扩散模型的反向扩散过程详解
1. 采样高斯噪声
2. 迭代去噪过程
3. 输出去噪后的图像
【4】引入Latent思想让Stable Diffusion模型彻底“进化破圈”
Stable Diffusion训练全过程
【1】SD训练集加入噪声
【2】SD训练中加噪与去噪
【3】文本信息对图片生成的控制
【4】SD模型训练时的输入
其他主流生成式模型介绍 摘录来源https://zhuanlan.zhihu.com/p/632809634
Stable Diffusion模型工作流程
Stable DiffusionSD模型是由Stability AI和LAION等公司共同开发的生成式模型可以用于文生图图生图图像inpaintingControlNet控制生成图像超分等丰富的任务本节中以文生图txt2img和图生图img2img任务展开对Stable Diffusion模型的工作流程进行通俗的讲解。
文生图任务是指将一段文本输入到SD模型中经过一定的迭代次数SD模型输出一张符合输入文本描述的图片。比如下图中输入了“天堂巨大的海滩”于是SD模型生成了一个美丽沙滩的图片。 SD模型的文生图txt2img过程 而图生图任务在输入本文的基础上再输入一张图片SD模型将根据文本的提示将输入图片进行重绘以更加符合文本的描述。比如下图中SD模型将“海盗船”添加在之前生成的那个美丽的沙滩图片上。 SD模型的图生图img2img过程 CLIP
那么输入的文本信息如何成为SD模型能够理解的机器数学信息呢
很简单我们需要给SD模型一个文本信息与机器数据信息之间互相转换的“桥梁”——CLIP Text Encoder模型。如下图所示我们使用CLIP Text Encoder模型作为SD模型中的前置模块将输入的文本信息进行编码生成与文本信息对应的Text Embeddings特征矩阵再将Text Embeddings用于SD模型中来控制图像的生成 蓝色框就是CLIP Text Encoder模型能够 将输入文本信息进行编码输出SD能够理解的特征矩阵 完成对文本信息的编码后就会输入到SD模型的“图像优化模块【U-Net】”中对图像的优化进行“控制”。 如果是图生图任务我们在输入文本信息的同时还需要将原图片通过图像编码器VAE Encoder生成Latent Feature隐空间特征作为输入。 如果是文生图任务我们只需要输入文本信息再用random函数生成一个高斯噪声矩阵作为Latent Feature的“替代”输入到SD模型的“图像优化模块”中。 U-Net and Schedule算法
“图像优化模块”作为SD模型中最为重要的模块其工作流程是什么样的呢
首先“图像优化模块”是由一个U-Net网络和一个Schedule算法共同组成U-Net网络负责预测噪声不断优化生成过程在预测噪声的同时不断注入文本语义信息。而schedule算法 对每次U-Net预测的噪声进行优化处理动态调整预测的噪声控制U-Net预测噪声的强度从而统筹生成过程的进度。在SD中U-Net的迭代优化步数Timesteps大概是50或者100次在这个过程中Latent Feature的质量不断的变好纯噪声减少图像语义信息增加文本语义信息增加。整个过程如下图所示 U-Net网络Schedule算法的迭代去噪过程 VAE
U-Net网络和Schedule算法的工作完成以后SD模型会将优化迭代后的Latent Feature输入到图像解码器VAE Decoder中将Latent Feature重建成像素级图像。
我们对比一下文生图任务中初始Latent Feature和经过SD的“图像优化模块”处理后再用图像解码器重建出来的图片之间的区别 【文生图任务没有经过U-Net处理的图像是随机噪声和有U-Net处理的图像会逐渐接近prompts】 初始Latent Feature和经过SD的“图像优化模块”处理后的图像内容区别 可以看到上图左侧是初始Latent Feature经过图像解码器重建后的图片显然是一个纯噪声图片上图右侧是经过SD的“图像优化模块”处理后再用图像解码器重建出来的图片可以看到是一张包含丰富内容信息的有效图片。
我们再将U-Net网络Schedule算法的迭代去噪过程的每一步结果都用图像解码器进行重建我们可以直观的感受到从纯噪声到有效图片的全过程 U-Net网络Schedule算法的迭代去噪过程的每一步结果 以上就是SD模型工作的完整流程下面Rocky再将其进行总结归纳制作成完整的Stable Diffusion前向推理流程图方便大家更好的理解SD模型的前向推理过程 SD模型文生图和图生图的前向推理流程图 VAE在Stable Diffusion模型各阶段的作用 VAE Encoder用于将图像压缩到潜在空间在训练阶段和图生图的推理阶段用于将真实图像转换为潜在表示。在文生图推理阶段不需要使用VAE的Encoder只使用VAE的Decoder。 VAE Decoder训练阶段一般不需要用VAEVariational Autoencoder 的 Decoder 将潜在空间中的表示解码回图像。模型训练的核心任务是让U-Net这样的神经网络学会从带有噪声的潜在表示中预测噪声而不是直接生成图像。在文生图和图生图推理阶段需要用 VAE Decoder 将扩散模型生成的潜在表示解码为图像。 为什么文生图推理时不需要VAE Encoder 在文生图推理过程中输入的只有prompts没有输入图像而是使用随机噪声开始随机噪声是在潜在空间中的不需要再将图像编码到潜在空间。直接在生成阶段使用解码器将潜在表示解码为图像即可。换句话说VAE Encoder的作用是在训练阶段/图生图推理阶段将真实图像压缩到潜在空间而在文生图推理阶段没有真实图像压缩的过程因此只需要VAE的Decoder来进行解码。 图生图推理阶段输入的是prompts和原始图像VAE Encoder用于将输入图像编码到潜在空间VAE Decoder用于将生成的潜在表示解码为图像。 文生图推理阶段输入的是prompts没有图像生成一个随机噪声来替代这个噪声是在潜在空间中的不需要使用VAE Encoder只使用VAE Decoder来解码生成的潜在表示。 Stable Diffusion模型核心基础原理
在传统深度学习时代凭借生成器与判别器对抗训练这个开创性的哲学思想GANGenerative adversarial networks可以说是在生成式模型中一枝独秀。同样的在AIGC时代以Stable Diffusion模型为代表的扩散模型接过GAN的衣钵在AI绘画领域一路“狂飙”。
与GAN等生成式模型一致的是SD模型同样拟合训练集分布并能够生成与训练集分布相似的输出结果但与GAN相比SD模型训练过程更稳定而且具备更强的泛化性能。这些都归功于扩散模型中核心的前向扩散过程Forward Diffusion Process和反向扩散过程Reverse Diffusion Process。
在前向扩散过程中SD模型持续对一张图像添加高斯噪声直至变成随机噪声矩阵。而在反向扩散过程中SD模型进行去噪声过程【使用U-Net】将一个随机噪声矩阵逐渐去噪直至生成一张图像。具体流程与图解如下所示
前向扩散过程Forward Diffusion Process → 图片中持续添加噪声反向扩散过程Reverse Diffusion Process → 持续去除图片中的噪声 SD模型的加噪和去噪过程图解 【1】扩散模型的基本原理详解
在Stable Diffusion这个扩散模型中无论是前向扩散过程还是反向扩散过程都是一个参数化的马尔可夫链Markov chain如下图所示 扩散模型的前向扩散过程和反向生成过程 看到这里大家是不是感觉概念有点复杂了don‘t worry大家只要知道Stable Diffusion模型的整个流程遵循参数化的马尔可夫链前向扩散过程是对图像增加噪声反向扩散过程是去噪过程即可这对于面试、工业界应用、竞赛界厮杀来说都已经足够了。
如果有想要深入理解扩散模型数学原理的读者阅读原论文Denoising Diffusion Probabilistic Models
【2】扩散模型的前向扩散过程详解 Stable DiffusionSD模型的前向扩散是一个逐步添加噪声的过程它不是在 U-Net 中进行的而是直接在输入图像数据上进行。 详细分析一下扩散模型的前向扩散过程其是一个不断往图像上加噪声的过程。我们举个例子如下图所示我们在猫的图片中多次增加高斯噪声直至图片变成随机噪声矩阵。可以看到对于初始数据我们设置扩散步数为K步每一步增加一定的噪声如果我们设置的K足够大那么我们就能够将初始数据转化成随机噪声矩阵。 扩散模型的前向扩散过程 一般来说扩散过程是固定的由上节中提到的Schedule算法噪声调度器进行统筹控制。同时扩散过程也有一个重要的性质我们可以基于初始数据 X0 和任意的扩散步数 Ki 采样得到对应的数据 Xi 。 加噪策略Forward Diffusion Process 加噪过程是扩散模型的前向扩散过程也称为正向扩散目的是从原始图像逐渐添加噪声直至图像完全变成高斯噪声。 加噪的步骤 给定一个初始图像 模型在每个时间步 t 添加一定的高斯噪声生成带噪的图像。这个过程可以被描述为逐步加入噪声使得随着时间步的增加图像中的噪声量不断增加直到最后的图像变得完全随机。 加噪公式 通过逐步增加噪声最终在第 T 步时图像 变成了接近完全的随机噪声。 在加噪过程中需要使用到调度器其作用是调度器在加噪过程中每个时间步向图像中注入的噪声比例【速率和幅度】。常见的调度策略包括 线性调度器噪声以线性的方式逐步增加。余弦调度器噪声变化按照余弦函数曲线变化使得噪声的增加在开始和结束时更为平滑。 加噪过程是确定的所以加噪不需要采样不使用 DDIM、DDPM、PLMS在扩散模型中加噪过程是基于预定义的噪声调度器来实现的而不是基于采样。也就是说加噪过程没有不确定性每一步都严格按照噪声调度器的规则添加噪声。 说明公式推导和解读参考 Diffusion Model 【3】扩散模型的反向扩散过程详解 Stable DiffusionSD模型的反向扩散过程在 U-Net 中进行。 U-Net的作用是噪声预测之后使用Schedule算法和采样算法去噪。 说明 噪声预测本身并不直接依赖于调度算法和采样算法。调度算法和采样算法主要用于推理阶段而不是训练阶段。 扩散模型的反向扩散过程和前向扩散过程正好相反是一个在图像上不断去噪的过程。下面是一个直观的例子将随机高斯噪声矩阵通过扩散模型的反向扩散过程预测噪声并逐步去噪最后生成一个小别墅的清晰图片。 扩散模型的反向扩散过程 其中每一步预测并去除的噪声分布都需要扩散模型在训练中学习。
讲好了扩散模型的前向扩散过程和反向扩散过程他们的目的都是服务于扩散模型的训练训练目标也非常简单将扩散模型每次预测出的噪声 和 每次实际加入的噪声做回归让扩散模型能够准确的预测出每次实际加入的真实噪声。
下面是扩散模型反向扩散过程的完整图解 扩散模型反向扩散过程的完整图解 这张图展示了 扩散模型Diffusion Model 在图像生成阶段的逆扩散过程其中模型逐步去噪从纯噪声开始生成一张清晰的图像。具体分为以下几个步骤 1. 采样高斯噪声 第一步从高斯分布中采样一个初始噪声图像。在图中初始图像被采样自标准正态分布即一个全噪声图像。这里的 T 1000 表示有 1000 个去噪步骤从 t T 开始一步步去除噪声直到生成最终的图像。 2. 迭代去噪过程 在第二步扩散模型逐步去噪生成更接近真实图像的潜在表示。这是通过逐步减少噪声来实现的每一步的去噪过程如下2.1 输入噪声图像到 U-Net预测噪声 在每个时间步 t 输入带噪声的图像 到 U-Net 中U-Net 会根据输入的噪声图像和时间步 t 预测出图像中的噪声。其中时间步 t 通过时间步嵌入Time step embedding传递给 U-Net以便模型知道当前在去噪过程中的位置。2.2 根据公式去噪 得到预测的噪声后通过公式计算出上一时间步的去噪图像 这里和是时间步相关的参数用来控制噪声减少的程度。 是 U-Net 预测的噪声。 是一个从标准正态分布采样的新噪声用于保持采样的多样性特别是 DDPM 中使用。 2.3 重复上述过程 每一步的去噪过程都会得到一个更清晰的图像表示噪声逐步减少直到最后一步 t1生成几乎无噪声的图像 。 3. 输出去噪后的图像 最后当 t0 时模型完成所有去噪步骤输出最终生成的图像 这是一张从噪声中生成的清晰图像。 注 在 DDPM 中采样算法在每个时间步都使用一次以采样新的高斯噪声这样的逐步去噪过程增加了生成的多样性。【不确定性采样】在 DDIM 中采样算法在每一步不需要重新引入随机噪声而是使用确定性的方式生成图像因此可以减少生成的时间步数。【确定性采样】 去噪策略Reverse Diffusion Process 去噪过程是扩散模型的反向扩散过程也称为 逆向扩散。在生成阶段模型从随机噪声图像开始逐步去除噪声直到还原出清晰的图像。 去噪的步骤 从纯噪声图像 x_T 开始模型在每个时间步 t 使用条件生成网络通常是 U-Net 结构来预测图像中的噪声并逐步去除噪声从而得到图像的潜在表示 x_0。 去噪公式 在去噪过程中除了需要用到调度器还需要用到采样算法它们的作用调度算法控制每个时间步去除的噪声比例【速率和幅度】采样算法上图反向扩散中的1. 采样高斯噪声则用于推断每一步如何从当前噪声生成下一步图像这个过程是不确定的。 常见的调度算法包括 线性调度噪声去除的比例按线性变化噪声逐步减少图像信息逐步恢复。余弦调度噪声去除比例按余弦曲线变化初期和末期的去噪较为平滑中期去噪速度较快。 常见的采样算法包括 DDPMDenoising Diffusion Probabilistic Models基于马尔可夫链的逐步采样方法通过每一步从前一步的结果推导出下一步图像。通常需要较多的时间步如 1000 步才能生成高质量图像。【不确定性采样】DDIMDenoising Diffusion Implicit Models与 DDPM 类似但它不依赖马尔可夫链允许在更少的时间步内生成图像如 50 或 100 步加速了生成过程。PLMSPseudo Linear Multistep Sampling通过多步线性预测进一步加速生成过程减少时间步数。【确定性采样】 去噪过程是基于预测和采样的在去噪过程中模型需要从噪声中恢复图像这个过程涉及对噪声的预测、采样以及推断。因此需要使用DDPM、DDIM、PLMS 等采样算法用于去噪过程。 说明公式推导和解读参考 Diffusion Model 【4】引入Latent思想让Stable Diffusion模型彻底“进化破圈” 如果说前面讲到的扩散模型相关基础知识是为SD模型打下地基的话引入Latent思想则让SD模型“一遇风雨便化龙”成为了AIGC时代图像生成模型的领军者。
那么Latent又是什么呢为什么Latent有如此魔力呢
首先我们已经知道了扩散模型会设置一个迭代次数并不会像GAN网络那样只进行一次输入和一次输出虽然扩散模型这样输出的效果会更好更稳定但是会导致生成过程耗时的增加。
再者Stable Diffusion出现之前的扩散模型虽然已经有非常强的生成能力与泛化性能但缺点是不管是前向扩散过程还是反向扩散过程都需要在像素级的图像上进行当图像分辨率和Timesteps很大时不管是训练还是前向推理都非常的耗时。
而SD模型基于Latent可以【使用VAE】将这些过程压缩在低维的Latent隐空间这样一来大大降低了显存占用和计算复杂度这是常规扩散模型和基于Latent的扩散模型之间的主要区别也是SD模型火爆出圈的关键一招。
我们举个形象的例子理解一下如果SD模型将输入数据压缩的倍数设为8那么原本尺寸为[3,512,512]的数据就会进入[3,64,64]的Latent隐空间中显存和计算量直接缩小64倍整体效率大大提升。也正是因为这样SD模型能够在2080Ti级别的显卡上进行前向推理生成各种各样精美的图像大大推动了SD模型的普惠与AI绘画生态的繁荣。
到这里大家应该对SD模型的核心基础原理有一个清晰的认识了Rocky这里再帮大家总结一下
SD模型是生成式模型输入可以是文本、文本和图像、以及更多控制条件等输出是生成的图像。SD模型属于扩散模型扩散模型的特点是生成过程分步化与可迭代这让整个生成过程更加灵活同时为引入更多约束与优化提供了可能。SD模型是基于Latent的扩散模型将输入数据压缩到Latent隐空间中这比起常规扩散模型大幅提高计算效率的同时降低了显存占用成为了SD模型破圈的关键一招。站在AIGC时代的视角Rocky认为Stable Diffusion本质上是一个优化噪声的AI艺术工具。 在Stable Diffusion模型中高斯噪声、Schedule算法和Latent隐空间是关键概念 【本文中的调度算法直接指的就是DDPM高斯噪声的添加和去除其实本质上不是这样的本质的调度算法如下】 本文将DDPM列为了一个调度算法其实DDPM是使用了线性调度器或余弦调度器的扩散架构 3. Latent隐空间 【DDPMDenoising Diffusion Probabilistic Models最初的设计和应用是在图像像素空间中】Stable Diffusion模型并不直接在图像像素空间中操作而是在一个低维的潜在空间中工作。输入图像通过VAE的 压缩为低维潜在向量扩散模型在这个隐空间中进行噪声添加和去噪操作最后通过VAE Decoder将潜在向量解码为图像。Latent空间的使用可以大大减少计算复杂度同时保持图像生成的质量。 总结 高斯噪声逐步添加到潜在表示中通过反向去噪生成图像。 Schedule算法线性或余弦控制每个时间步的噪声强度变化。 Latent隐空间通过VAE将图像压缩为低维表示提升模型生成效率。 这个过程使得Stable Diffusion模型能够高效地生成高质量的图像。 Stable Diffusion训练全过程
Stable Diffusion的整个训练过程在最高维度上可以看成是如何加噪声和如何去噪声的过程并在针对噪声的“对抗与攻防”中学习到生成图片的能力。
【训练过程 ———》如何加噪声和如何预测噪声的过程】
Stable Diffusion整体的训练逻辑也非常清晰
从数据集中随机选择一个训练样本从K个噪声量级随机抽样一个timestep t将timestep t对应的高斯噪声添加到图片中将加噪图片输入U-Net中预测噪声计算真实噪声和预测噪声的L2损失计算梯度并更新SD模型参数
下图是SD训练过程Epoch迭代的图解 下图是SD每个训练step的详细图解过程 SD每个训练step的详细图解过程 下面对SD模型训练过程中的一些关键环节进行详细的讲解。
【1】SD训练集加入噪声
SD模型训练时我们需要把加噪的数据集输入模型中每一次迭代我们用random函数生成从强到弱各个强度的噪声【这里写错了应该是从弱到强】通常来说会生成0-1000一共1001种不同的噪声强度【0无噪声到1001最大噪声强度】通过Time Embedding嵌入到SD的训练过程中。
Time Embedding由Timesteps时间步长编码而来引入Timesteps能够模拟一个随时间逐渐向图像加入噪声扰动的过程。每个Timestep代表一个噪声强度较小的Timestep代表较弱的噪声扰动而较大的Timestep代表较强的噪声扰动通过多次增加噪声来逐渐改变干净图像的特征分布。 【从 Timestep 0 到 1000噪声强度是逐步增大的表示了从无噪声到最大噪声强度的逐步变化。Timestep 越大加入图像的噪声强度越大。】 下图是一个简单的加噪声流程。首先从数据集中选择一张干净样本然后再用random函数生成0-3一共4种强度的噪声然后每次迭代中随机一种强度的噪声增加到干净图片上完成图片的加噪流程。 SD训练集的加噪声流程 【2】SD训练中加噪与去噪
具体地在训练过程中我们首先看一下前向扩散过程主要是对干净样本进行加噪处理采用多次逐步增加噪声的方式直至干净样本转变成为纯噪声。 SD训练时的加噪过程 接着在前向扩散过程进行的每一步中SD同样进行反向扩散过程。SD模型在每一步都会预测当前步加入的噪声不断学习提升去噪能力。
其中将去噪过程具像化就得到使用U-Net预测噪声并结合Schedule算法逐步去噪的过程。 【训练过程中不需要进行去噪只是预测噪声只有推理的时候才需要预测噪声并且去除】【去噪声使用的是Schedule算法和采样算法】 SD训练时的去噪过程 我们可以看到加噪和去噪过程都是逐步进行的我们假设进行K步那么每一步SD都要去预测噪声从而形成“小步快跑的稳定去噪”类似于移动互联网时代的产品逻辑这是足够伟大的关键一招。
与此同时在加噪过程中每次增加的噪声量级可以不同假设有5种噪声量级那么每次都可以取一种量级的噪声增加噪声的多样性如下图所示 多量级噪声 那么怎么让网络知道目前处于K的哪一步呢【为什么要知道当前处于 K 的哪一步K对应实际加入的噪声强度】本来SD模型其实需要K个噪声预测模型这时我们可以增加一个Time Embedding类似Positional embeddings进行处理通过将timestep编码进网络中从而只需要训练一个共享的U-Net模型就让网络知道现在处于哪一步。
我们希望SD中的U-Net模型在刚开始的反向扩散过程中可以先生成一些物体的大体轮廓随着反向扩散过程的深入在即将完成完整图像的生成时再生成一些高频的特征信息。
我们了解了训练中的加噪和去噪过程SD训练过程就是对每个加噪和去噪过程进行梯度计算从而优化SD模型参数如下图所示分为四个步骤
从训练集中选取一张加噪过的图片和噪声强度timestep然后将其输入到U-Net中。让U-Net预测噪声下图中的U-Net Prediction。接着再计算预测噪声与真实噪声的误差loss。最后通过反向传播更新U-Net的权重参数。 为什么没有去噪过程 训练阶段模型的任务是预测噪声不进行去噪操作。推理阶段模型利用训练过程中学到的噪声预测能力逐步去除噪声生成图像
完成SD模型的训练我们就可以用U-Net对噪声图片进行去噪逐步重建出有效图像的Latent Feature了
【推理时候】在噪声图上逐步减去被U-Net预测出来的噪声从而得到一个我们想要的高质量的图像Latent特征去噪流程如下图所示 Stable Diffusion的反向扩散过程示意图 【3】文本信息对图片生成的控制
SD模型在生成图片时需要输入prompt提示词那么这些文本信息是如何影响图片的生成呢
答案非常简单通过注意力机制。
在SD模型的训练中每个训练样本都会对应一个文本描述的标签我们将对应标签通过CLIP Text Encoder输出Text Embeddings并将Text Embeddings以Cross Attention的形式与U-Net结构耦合并注入使得每次输入的图片信息与文本信息进行融合训练如下图所示 Noise与Text Embeddings通过CrossAttention与U-Net结构耦合 上图中的token是NLP领域的一个基础概念可以理解为最小语义单元。与之对应的分词操作为tokenization。Rocky举一个简单的例子来帮助大家理解“WeThinkIn是伟大的自媒体”是一个句子我们需要将其切分成一个token序列这个操作就是tokenization。经过tokenization操作后我们获得[WeThinkIn, 是, 伟大的, 自媒体]这个句子的token序列从而完成对文本信息的预处理。
【4】SD模型训练时的输入
有了上面的介绍我们在这里可以小结一下SD模型训练时的输入一共有三个部分组成图片、文本以及噪声强度。其中图片和文本是固定的而噪声强度在每一次训练参数更新时都会随机选择一个进行叠加。 SD模型训练时需要的数据配置 直接使用噪声强度而去掉时间步 不可行的原因在于时间步 并不仅仅是噪声强度的简单表示它还传达了生成过程的进程信息和结构信息。 【4 属于预测噪声而不是去噪】 【7 是生成时候才用的训练时候不需要生成最终图像】 其他主流生成式模型介绍
在AIGC时代中虽然SD模型已经成为核心的生成式模型但是曾在传统深度学习时代火爆的GAN、VAE、Flow-based model等模型也跨过周期在SD模型身边作为辅助模型发挥了巨大的作用。
下面是主流生成式模型各自的生成逻辑
生成式模型的主流架构
GAN网络在AIGC时代依然发挥了巨大的作用配合SD模型完成了很多AI绘画算法工作流比如图像超分、脸部修复、风格迁移、图像编辑、图像重绘、图像定权等。
简单讲解一下GAN的基本原理。GAN由生成器G和判别器D组成。其中生成器主要负责生成相应的样本数据输入一般是由高斯分布随机采样得到的噪声Z。而判别器的主要职责是区分生成器生成的样本与gtGroundTruth样本输入一般是gt样本与相应的生成样本我们想要的是对gt样本输出的置信度越接近1越好而对生成样本输出的置信度越接近0越好。与一般神经网络不同的是GAN在训练时要同时训练生成器与判别器所以其训练难度是比较大的。
二者互相博弈随着时间的进行都会越来越强。在图像生成任务中也是如此生成器不断生成尽可能逼真的假图像。判别器则判断图像是gt图像还是生成的图像。二者不断博弈优化最终生成器生成的图像使得判别器完全无法判别真假。
关于Flow-based models其在AIGC时代的作用还未显现可以持续关注。
最后VAE将在本文后面的章节【Stable Diffusion核心网络结构】中详细讲解因为正是VAE将输入数据压缩至Latent隐空间中故其成为了SD模型的核心结构之一。 文章转载自： http://www.morning.tdgwg.cn.gov.cn.tdgwg.cn http://www.morning.cbnlg.cn.gov.cn.cbnlg.cn http://www.morning.gthwz.cn.gov.cn.gthwz.cn http://www.morning.xqnzn.cn.gov.cn.xqnzn.cn http://www.morning.xfwnk.cn.gov.cn.xfwnk.cn http://www.morning.rlqqy.cn.gov.cn.rlqqy.cn http://www.morning.thbkc.cn.gov.cn.thbkc.cn http://www.morning.ldzxf.cn.gov.cn.ldzxf.cn http://www.morning.hmpxn.cn.gov.cn.hmpxn.cn http://www.morning.mjqms.cn.gov.cn.mjqms.cn http://www.morning.pwwdp.cn.gov.cn.pwwdp.cn http://www.morning.kcnjz.cn.gov.cn.kcnjz.cn http://www.morning.jthjr.cn.gov.cn.jthjr.cn http://www.morning.fykrm.cn.gov.cn.fykrm.cn http://www.morning.wqmyh.cn.gov.cn.wqmyh.cn http://www.morning.dmthy.cn.gov.cn.dmthy.cn http://www.morning.bpmnl.cn.gov.cn.bpmnl.cn http://www.morning.rswtz.cn.gov.cn.rswtz.cn http://www.morning.bykqg.cn.gov.cn.bykqg.cn http://www.morning.wxckm.cn.gov.cn.wxckm.cn http://www.morning.bpttm.cn.gov.cn.bpttm.cn http://www.morning.dfqmy.cn.gov.cn.dfqmy.cn http://www.morning.ybhjs.cn.gov.cn.ybhjs.cn http://www.morning.tmtrl.cn.gov.cn.tmtrl.cn http://www.morning.amlutsp.cn.gov.cn.amlutsp.cn http://www.morning.qzpqp.cn.gov.cn.qzpqp.cn http://www.morning.zsyqg.cn.gov.cn.zsyqg.cn http://www.morning.bmts.cn.gov.cn.bmts.cn http://www.morning.xmttd.cn.gov.cn.xmttd.cn http://www.morning.qswws.cn.gov.cn.qswws.cn http://www.morning.pjrgb.cn.gov.cn.pjrgb.cn http://www.morning.abgy8.com.gov.cn.abgy8.com http://www.morning.zfcfk.cn.gov.cn.zfcfk.cn http://www.morning.gwtbn.cn.gov.cn.gwtbn.cn http://www.morning.xsqbx.cn.gov.cn.xsqbx.cn http://www.morning.rlbc.cn.gov.cn.rlbc.cn http://www.morning.hwlk.cn.gov.cn.hwlk.cn http://www.morning.mdmc.cn.gov.cn.mdmc.cn http://www.morning.ryspp.cn.gov.cn.ryspp.cn http://www.morning.myhpj.cn.gov.cn.myhpj.cn http://www.morning.mmqhq.cn.gov.cn.mmqhq.cn http://www.morning.dyght.cn.gov.cn.dyght.cn http://www.morning.tpqrc.cn.gov.cn.tpqrc.cn http://www.morning.zckhn.cn.gov.cn.zckhn.cn http://www.morning.dswtz.cn.gov.cn.dswtz.cn http://www.morning.jqbpn.cn.gov.cn.jqbpn.cn http://www.morning.ysckr.cn.gov.cn.ysckr.cn http://www.morning.hxwhyjh.com.gov.cn.hxwhyjh.com http://www.morning.ftrpvh.cn.gov.cn.ftrpvh.cn http://www.morning.qyrnp.cn.gov.cn.qyrnp.cn http://www.morning.wfyqn.cn.gov.cn.wfyqn.cn http://www.morning.wjpsn.cn.gov.cn.wjpsn.cn http://www.morning.gmyhq.cn.gov.cn.gmyhq.cn http://www.morning.iznek.com.gov.cn.iznek.com http://www.morning.pbknh.cn.gov.cn.pbknh.cn http://www.morning.qsy40.cn.gov.cn.qsy40.cn http://www.morning.rymb.cn.gov.cn.rymb.cn http://www.morning.tqjwx.cn.gov.cn.tqjwx.cn http://www.morning.hrgxk.cn.gov.cn.hrgxk.cn http://www.morning.tbplf.cn.gov.cn.tbplf.cn http://www.morning.mzhjx.cn.gov.cn.mzhjx.cn http://www.morning.zrbpx.cn.gov.cn.zrbpx.cn http://www.morning.jrwbl.cn.gov.cn.jrwbl.cn http://www.morning.jwfkk.cn.gov.cn.jwfkk.cn http://www.morning.lmknf.cn.gov.cn.lmknf.cn http://www.morning.rwqk.cn.gov.cn.rwqk.cn http://www.morning.fhxrb.cn.gov.cn.fhxrb.cn http://www.morning.kkrnm.cn.gov.cn.kkrnm.cn http://www.morning.xnfg.cn.gov.cn.xnfg.cn http://www.morning.guangda11.cn.gov.cn.guangda11.cn http://www.morning.drqrl.cn.gov.cn.drqrl.cn http://www.morning.yqgbw.cn.gov.cn.yqgbw.cn http://www.morning.qwmpn.cn.gov.cn.qwmpn.cn http://www.morning.krbjb.cn.gov.cn.krbjb.cn http://www.morning.jrksk.cn.gov.cn.jrksk.cn http://www.morning.gmgnp.cn.gov.cn.gmgnp.cn http://www.morning.rqhdt.cn.gov.cn.rqhdt.cn http://www.morning.qkbwd.cn.gov.cn.qkbwd.cn http://www.morning.wdjcr.cn.gov.cn.wdjcr.cn http://www.morning.sqyjh.cn.gov.cn.sqyjh.cn
