站酷网怎么接单赚钱,电子商务营销手段有哪些,大气一点的公司名字,wordpress加入博客大家好#xff0c;我是风雨无阻。 本文适合人群#xff1a; 想要了解AI绘图基本原理的朋友。 对Stable Diffusion AI绘图感兴趣的朋友。
本期内容#xff1a; Stable Diffusion 能做什么 什么是扩散模型 扩散模型实现原理 Stable Diffusion 潜扩散模型 Stable Diffu…
大家好我是风雨无阻。 本文适合人群 想要了解AI绘图基本原理的朋友。 对Stable Diffusion AI绘图感兴趣的朋友。
本期内容 Stable Diffusion 能做什么 什么是扩散模型 扩散模型实现原理 Stable Diffusion 潜扩散模型 Stable Diffusion文本如何影响图片生成 Stable Diffusion Cross-attention 技术 Stable Diffusion noise schedule 技术 Stable Diffusion文生图底层运行演示
一、 Stable Diffusion能做什么 通过前面几篇文章关于 Stable Diffusion 整合包的安装、ControlNet插件的介绍使、sd模型的安装和使用以及文生图功能的介绍后相信看过的朋友应该都清楚的知道 Stable Diffusion 是做什么的吧 对于新朋友想详细了解的话请前往
AI 绘画Stable Diffusion 研究一sd整合包v4.2 版本安装说明 AI 绘画Stable Diffusion 研究二sd模型ControlNet1.1 介绍与安装 AI 绘画Stable Diffusion 研究三sd模型种类介绍及安装使用详解 AI 绘画Stable Diffusion 研究四sd文生图功能详解上 AI 绘画Stable Diffusion 研究五sd文生图功能详解下 AI 绘画Stable Diffusion 研究六sd提示词插件 这里再用最直白的话说一下SD它是一个text-to-image模型 通过给定的 text prompt文本提示词可生成一张匹配文本的图片。 二、什么是扩散模型 大家都经常听到有人说Stable Diffusion是一种潜在扩散模型Diffusion Models。
那我们先弄明白什么是扩散模型
为什么叫扩散模型呢因为它的数学公式看起来非常像物理上的扩散现象。 1、前向扩散
假如我们训练一个模型如下 正如上图所示是一个前向扩散的过程它是在训练图像上逐渐添加噪声最后变成完全随机噪声图并最终无法辨认噪点图对应的初始图片。 这个过程就像是一滴墨水滴在一杯清水里会慢慢扩散最终均匀分布在清水里一样且无法判断它最初是从水杯的中心滴入还是从边缘滴入扩散这个名字就是这么来的。 2、反向扩散 反向扩散的思想是输入一张噪点图反向扩散Reverse Diffusion让上述过程获得逆向从随机噪声图生成清晰图像的过程。 从反向扩散的角度来说我们需要知道有多少“噪点”加入到了某张图片里。 那么要知道答案的方式便是训练一个神经网络来预测添加的噪点这在SD里称为噪点预测器Noise Predicator其本质是一个U-Net模型。 训练流程为
1、选择一张训练图例如一张猫的图片
2、生成随机的噪点图
3、给这张图继续增加多轮噪点
4、训练Noise Predicator预测加入了多少噪点通过神经网络训练权重并展示其正确答案。 反向扩散训练的重点下图中的噪声预测器Noise Predicator它可以通过训练得出每次需要减掉的噪声每次需要减多少噪声是预测出来的从而实现还原清晰图片的目的。 三、扩散模型实现原理 扩散模型Diffusion Models的成功其实并非横空出世突然出现在人们的视野中。其实早在2015年就已有人提出了类似的想法最终在2020年提出了扩散模型的生成技术。 以下是扩散模型推导公式 更详细的原理
参考扩散模型详解原理代码 通过前面的介绍我们大概明白了什么是扩散模型但这并不是 Stable Diffusion的工作原理。
这是因为上述扩散过程是在图片空间里完成的无论是模型训练还是生成图片的过程都是需要海量的算力支持和内存需求。 想象一下一张512 x 512的图片包含3个颜色通道红、绿、蓝它的空间是786432维也就是说我们要为一张图片指定这么多的值。因此基本无法在单个GPU上运行。 Stable Diffusion就是降低算力和内存需求的一个解决方案。它让Stable Diffusion在消费级GPU上运行成为了可能。 **四、Stable Diffusion 潜扩散模型 **
Stable Diffusion 它是一个Latent Diffusion Model潜扩散模型。其方式是将图片压缩到一个“潜空间”Latent Space中而不是在高维的图片空间里工作。潜空间比图片空间小了48倍所以它可以节省大量计算继而运行速度更快。 扩散过程会分成很多步循环而每一步的过程如下图所示将文本描述、隐变量、步数等数值传入UNet生成新的隐变量而这个过程会涉及一些模型。 在最后一步循环将隐特征经由 Variational AutoencoderVAE解码成图像。 这个过程的核心思想就是压缩图像它通过变分自编码器 Variational AutoencoderVAE模型把图像压缩到极致我们把此类压缩方式称作降维这种降维级别的压缩不丢失重要信息。 经过压缩后图像被称作低维潜在Latent“图像”作为U-net的输入去潜空间Latent Space里一步一步降噪后完成反向扩散的低维“图片”还得通过VAE的解码器把图像从潜空间转换回像素空间Pixel Space。 VAE包含2部分Encoder与Decoder。 Encoder将一张图片压缩到“潜空间”里的一个低维空间表示 Decoder从“潜空间”里的表示恢复为一张图片 下列代码演示了VAE模型的使用方法其中load_vae为根据配置init_config去初始化模型然后从预训练模型model.ckpt中读取参数预训练模型的first_stage_model即指代VAE模型。 from ldm.models.autoencoder import AutoencoderKL
#VAE模型
def load_vae():#初始化模型init_config {embed_dim: 4,monitor: val/rec_loss,ddconfig:{double_z: True,z_channels: 4,resolution: 256,in_channels: 3,out_ch: 3,ch: 128,ch_mult:[1,2,4,4],num_res_blocks: 2,attn_resolutions: [],dropout: 0.0,},lossconfig:{target: torch.nn.Identity}}vae AutoencoderKL(**init_config)#加载预训练参数pl_sd torch.load(model.ckpt, map_locationcpu)sd pl_sd[state_dict]model_dict vae.state_dict()for k, v in model_dict.items():model_dict[k] sd[first_stage_model.k]vae.load_state_dict(model_dict, strictFalse)vae.eval()return vae#测试vae模型
def test_vae():vae load_vae()img load_image(girl_and_horse.png) #(1,3,512,512) latent vae.encode(img).sample() #(1,4,64,64)samples vae.decode(latent) #(1,3,512,512)save_image(samples,vae.png)test_vae()五、Stable Diffusion 文本如何影响图片生成 在 Stable Diffusion 模型中prompt 是通过引导向量guidance vector来控制 U-Net 的。具体来说prompt 会被编码成一个文本嵌入向量text embeddings然后与其他输入一起传递给 U-Net。
通过这种方式prompt 能够影响 U-Net 的输出从而在生成过程中引导模型产生符合预期的结果即通过 prompt 产生我们想要的图。 在Stable Diffusion模型限制prompt在75个单词。 下图是文本提示词text prompt如何处理并输入到Noise Predictor的流程 根据上图我们可以看到这个流程
首先Tokenizer分词器将每个输入的单词转为一个数字我们称为token。
然后每个token转为一个768维的向量称为词嵌入embedding。
最后由Text Transformer处理词嵌入并可以被Noise predictor进行消费。 1、分词器 Tokenizer
人类可以读懂单词但计算机只能读懂数字。所以这也是为什么文本提示词首先要转为单词。
文本提示词text prompt首先由一个CLIP tokenizer做分词。
CLIP是一个深度学习模型由Open AI开发用于为任何图片生成文本描述。 以下是CLIP具体的实例
展示了如何将文本“苹果”通过CLIP技术转化为能输入到神经网络中训练的tokens数据。
这里使用Python和OpenAI库来实现。 1、安装依赖库
pip install torch openai2)、导入相关库
import torch import openai3、加载CLIP模型
model, preprocess openai.clip.load(ViT-B/32)4、准备输入文本
text_description 苹果(5)、将文本转换为tokens
使用CLIP模型的tokenize方法将文本转换为tokens
text_tokens openai.clip.tokenize(text_description)这里text_tokens是一个PyTorch张量形状为(1, N)其中N是文本描述中的token数量。
在这个例子中N3因为苹果被分成了3个tokens。 (6)、 查看tokens
print(fTokens: {text_tokens})输出结果可能类似于
Tokens: tensor([[49406, 3782, 49407]])这里49406表示开始符号start-of-sentence3782表示“苹果”49407表示结束符号end-of-sentence。
通过以上步骤我们将文本“苹果”转换为了tokens。 PS Stable Diffusion v1使用了CLIP模型的tokenizer Tokenizer只能将其在训练过程中见到过的单词进行分词 例如:假设CLIP模型里有“dream”与“beach”单词但是没有“dreambeach”单词。 Tokenizer会将“dreambeach”分成2个单词“dream”与“beach”。 1个单词并非代表1个token而是有可能进一步进行拆分 空格也是token的一部分 例如:短语 “dream beach” 产生了两个token “dream” 和 “[space]beach”。 这些标记与 “dreambeach” 产生的标记不同后者是 “dream” 和 “beach”beach 前没有空格。
2、词嵌入Embedding (1)、为什么需要词嵌入Embedding
因为有些单词相互之间是非常相似我们希望利用到这些语义信息。 例如
man、gentleman、guy的词嵌入是非常相近的因此它们可以相互替换。
Monet、Manet以及Degas都以印象派的风格绘画但是方式各不相同。
这些名字看起来是非常相似但是在词嵌入(Embedding)里是不一样的。 2、词嵌入Embedding 是如何工作的 Embedding 将输入的tokens转换为一个连续的向量来表示这个向量可以捕捉文本中的语义信息。在我们的例子中苹果的tokens经过CLIP模型的encode_text方法后会得到一个特征向量。 这个特征向量是一个高维空间中的点通常具有固定的维度在CLIP模型中维度为512。请注意由于模型权重和随机性的原因每次运行时生成的特征向量可能略有不同。以下是一个示例输出 print(fText features: {text_features})输出结果可能类似于
Text features: tensor([[-0.0123, 0.0345, -0.0678, ..., 0.0219, -0.0456, 0.0789]])这里text_features是一个形状为(1, 512)的PyTorch张量其中包含了“苹果”这个词的向量表示。神经网络可以利用这个向量表示进行训练和预测任务。 Stable diffusion v1使用Open AI的ViT-L/14模型词嵌入为768维的向量。 3、文本转换器(text transformer) 1、为什么需要text transformer 既然通过embedding后可以直接输入到模型中进行训练为何在stable diffusion中还需要将embedding通过text transformer转换后再作为模型的输入呢 这是因为Stable Diffusion模型是一个图像生成模型它需要理解输入文本的语义信息以生成与之相关的图像。直接使用基本的文本embedding可能无法充分捕捉到文本中的复杂语义关系。通过使用text transformer可以获得一个更丰富、更具表现力的文本表示这有助于提高生成图像的质量和与输入文本的相关性。 使用text transformer 在捕捉文本语义信息时能够考虑到更多上下文关系和抽象概念。
这个转换器就像是一个通用的条件conditioning适配器。 2、text transformer转换示例 下面以苹果为例进行说明。
假设我们已经获得了苹果的基本embedding一个形状为(1, 512)的PyTorch张量
text_features tensor([[-0.0123, 0.0345, -0.0678, ..., 0.0219, -0.0456, 0.0789]])接下来我们将这个张量输入到text transformer中
transformed_text_features text_transformer(text_features)经过text transformer处理后我们可能会得到一个新的张量如
print(fTransformed text features: {transformed_text_features})输出结果可能类似于
Transformed text features: tensor([[ 0.0234, -0.0567, 0.0890, ..., -0.0321, 0.0672, -0.0813]])这个新的张量形状仍为(1, 512)包含了更丰富的语义信息例如上下文关系和抽象概念。
这有助于Stable Diffusion模型更好地理解输入文本并生成与之相关的图像。 请注意
由于模型权重和随机性的原因每次运行时生成的特征向量可能略有不同。
此外具体的变化过程取决于所使用的text transformer结构和参数。 六、Stable Diffusion Cross-attention技术 Cross-attention 是通过提示词产生图片的核心技术。
文本转换器的输出会被noise predictor在U-Net中使用到多次。
U-Net以一个叫做cross-attention机制的方式来使用它cross-attention机制允许模型在不同的特征层次上关注相关的区域从而提高生成结果的质量这即是prompt适配图片的地方。 下面代码是stable diffusion所使用的transformers块实现了cross-attention
class SpatialTransformer(nn.Module):Transformer block for image-like data.First, project the input (aka embedding)and reshape to b, t, d.Then apply standard transformer action.Finally, reshape to imagedef __init__(self, in_channels, n_heads, d_head,depth1, dropout0., context_dimNone):super().__init__()self.in_channels in_channelsinner_dim n_heads * d_headself.norm Normalize(in_channels)self.proj_in nn.Conv2d(in_channels,inner_dim,kernel_size1,stride1,padding0)self.transformer_blocks nn.ModuleList([BasicTransformerBlock(inner_dim, n_heads, d_head, dropoutdropout, context_dimcontext_dim)for d in range(depth)])self.proj_out zero_module(nn.Conv2d(inner_dim,in_channels,kernel_size1,stride1,padding0))def forward(self, x, contextNone):# note: if no context is given, cross-attention defaults to self-attentionb, c, h, w x.shapex_in xx self.norm(x)x self.proj_in(x)x rearrange(x, b c h w - b (h w) c)for block in self.transformer_blocks:x block(x, contextcontext)x rearrange(x, b (h w) c - b c h w, hh, ww)x self.proj_out(x)return x x_in七、Stable Diffusion noise schedule 技术 1、什么是 noise schedule
噪声通过多次U-Net的处理最终会输出我们想要的图片。
在这多次处理中每一次的降噪的幅度是不同的所以我们就要通过schedulers来控制每次降噪的幅度幅度一般是递减的。这个技术就叫做 noise schedule。
如图 那么为什么要使用 noise schedule 技术呢 在 Stable Diffusion 这种生成模型中U-Net 是一个核心组件用于从噪声图像中逐步恢复出原始图像。在多次迭代过程中降噪幅度逐渐减小的原因是为了更精细地恢复图像的细节和结构。 Stable Diffusion 的过程可以看作是一个逆向扩散过程它从一个高度噪声的图像开始然后通过多个步骤逐渐去除噪声以重建原始图像。在这个过程中U-Net 被用来预测每一步的降噪操作。 在前几轮迭代中图像中的噪声较大因此需要较大的降噪幅度来消除这些噪声。随着迭代次数的增加图像中的噪声逐渐减小因此降噪幅度也应相应减小。这样做的目的是避免过度平滑或损坏已经恢复的图像细节。 通过逐渐减小降噪幅度U-Net 可以更好地控制去噪过程使其在保留图像细节的同时有效地去除噪声。这有助于生成更清晰、更真实的图像。 这里举一个文生图的代码用于说明noise schedule技术
def txt2img():#unetunet load_unet()#调度器scheduler lms_scheduler()scheduler.set_timesteps(100)#文本编码prompts [a photograph of an astronaut riding a horse]text_embeddings prompts_embedding(prompts)text_embeddings text_embeddings.cuda() #(1, 77, 768)uncond_prompts []uncond_embeddings prompts_embedding(uncond_prompts)uncond_embeddings uncond_embeddings.cuda() #(1, 77, 768)#初始隐变量latents torch.randn( (1, 4, 64, 64)) #(1, 4, 64, 64)latents latents * scheduler.sigmas[0] #sigmas[0]157.40723latents latents.cuda()#循环步骤for i, t in enumerate(scheduler.timesteps): #timesteps[999. 988.90909091 978.81818182 ...100个latent_model_input latents #(1, 4, 64, 64) sigma scheduler.sigmas[i]latent_model_input latent_model_input / ((sigma**2 1) ** 0.5)timestamp torch.tensor([t]).cuda()with torch.no_grad(): noise_pred_text unet(latent_model_input, timestamp, text_embeddings)noise_pred_uncond unet(latent_model_input, timestamp, uncond_embeddings)guidance_scale 7.5 noise_pred noise_pred_uncond guidance_scale * (noise_pred_text - noise_pred_uncond)latents scheduler.step(noise_pred, i, latents)vae load_vae()latents 1 / 0.18215 * latentsimage vae.decode(latents.cpu()) #(1, 3, 512, 512)save_image(image,txt2img.png)txt2img()八、Stable Diffusion 文生图底层运行演示 在文本生成图的场景下我们给SD模型输入一组文本提示词它可以返回一张图片。 第一步、 Stable Diffusion在潜空间里生成一个随机张量。
我们通过设置随机种子seed来控制这个张量的生成。如果我们设置这个随机种子为一个特定的值则会得到相同的随机张量。这就是我们在潜空间里的图片。但是当前还全是噪点。 第二步、 Noise predictor U-Net将潜噪点图已经文本提示词作为输入并预测噪点
此噪点同样也在潜空间内一个4 x 64 x 64的张量 第三步、从潜图片中抽取潜噪点并生成了新的潜图片 第二步 与 第三步重复特定采样次数例如20次。 第四步、VAE 的decoder将潜图片转回像素空间
这便是我们通过SD模型最终得到的图片。 参考资料
1. How does Stable Diffusion work?
2. stable-diffusion
3.扩散模型详解原理代码 文章转载自： http://www.morning.jqkjr.cn.gov.cn.jqkjr.cn http://www.morning.ydryk.cn.gov.cn.ydryk.cn http://www.morning.xnnxp.cn.gov.cn.xnnxp.cn http://www.morning.zrhhb.cn.gov.cn.zrhhb.cn http://www.morning.yktr.cn.gov.cn.yktr.cn http://www.morning.mqwnp.cn.gov.cn.mqwnp.cn http://www.morning.dwwlg.cn.gov.cn.dwwlg.cn http://www.morning.czxrg.cn.gov.cn.czxrg.cn http://www.morning.ctbr.cn.gov.cn.ctbr.cn http://www.morning.hmlpn.cn.gov.cn.hmlpn.cn http://www.morning.hlfgm.cn.gov.cn.hlfgm.cn http://www.morning.hotlads.com.gov.cn.hotlads.com http://www.morning.ghfmd.cn.gov.cn.ghfmd.cn http://www.morning.yfstt.cn.gov.cn.yfstt.cn http://www.morning.lanyee.com.cn.gov.cn.lanyee.com.cn http://www.morning.gzttoyp.com.gov.cn.gzttoyp.com http://www.morning.pbygt.cn.gov.cn.pbygt.cn http://www.morning.ssjee.cn.gov.cn.ssjee.cn http://www.morning.cspwj.cn.gov.cn.cspwj.cn http://www.morning.zrkp.cn.gov.cn.zrkp.cn http://www.morning.qkkmd.cn.gov.cn.qkkmd.cn http://www.morning.hpkr.cn.gov.cn.hpkr.cn http://www.morning.tsdjj.cn.gov.cn.tsdjj.cn http://www.morning.tsycr.cn.gov.cn.tsycr.cn http://www.morning.pqhgn.cn.gov.cn.pqhgn.cn http://www.morning.rhdqz.cn.gov.cn.rhdqz.cn http://www.morning.qrqcr.cn.gov.cn.qrqcr.cn http://www.morning.rnzgf.cn.gov.cn.rnzgf.cn http://www.morning.hkchp.cn.gov.cn.hkchp.cn http://www.morning.cspwj.cn.gov.cn.cspwj.cn http://www.morning.kztts.cn.gov.cn.kztts.cn http://www.morning.hsksm.cn.gov.cn.hsksm.cn http://www.morning.nlpbh.cn.gov.cn.nlpbh.cn http://www.morning.zwwhq.cn.gov.cn.zwwhq.cn http://www.morning.xrhst.cn.gov.cn.xrhst.cn http://www.morning.gbfzy.cn.gov.cn.gbfzy.cn http://www.morning.sjqpm.cn.gov.cn.sjqpm.cn http://www.morning.kwpnx.cn.gov.cn.kwpnx.cn http://www.morning.qnpyz.cn.gov.cn.qnpyz.cn http://www.morning.mfmx.cn.gov.cn.mfmx.cn http://www.morning.pbsfq.cn.gov.cn.pbsfq.cn http://www.morning.wqwbj.cn.gov.cn.wqwbj.cn http://www.morning.dwrjj.cn.gov.cn.dwrjj.cn http://www.morning.rntgy.cn.gov.cn.rntgy.cn http://www.morning.c7630.cn.gov.cn.c7630.cn http://www.morning.3jiax.cn.gov.cn.3jiax.cn http://www.morning.sfzwm.cn.gov.cn.sfzwm.cn http://www.morning.zdmlt.cn.gov.cn.zdmlt.cn http://www.morning.sbrjj.cn.gov.cn.sbrjj.cn http://www.morning.fjmfq.cn.gov.cn.fjmfq.cn http://www.morning.mnwsy.cn.gov.cn.mnwsy.cn http://www.morning.pndw.cn.gov.cn.pndw.cn http://www.morning.wphfl.cn.gov.cn.wphfl.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.bfrff.cn.gov.cn.bfrff.cn http://www.morning.rnqyy.cn.gov.cn.rnqyy.cn http://www.morning.thxfn.cn.gov.cn.thxfn.cn http://www.morning.fnrkh.cn.gov.cn.fnrkh.cn http://www.morning.ypxyl.cn.gov.cn.ypxyl.cn http://www.morning.rqsr.cn.gov.cn.rqsr.cn http://www.morning.hwsgk.cn.gov.cn.hwsgk.cn http://www.morning.yqkmd.cn.gov.cn.yqkmd.cn http://www.morning.kfldw.cn.gov.cn.kfldw.cn http://www.morning.bntgy.cn.gov.cn.bntgy.cn http://www.morning.fdfsh.cn.gov.cn.fdfsh.cn http://www.morning.xbnkm.cn.gov.cn.xbnkm.cn http://www.morning.rcfwr.cn.gov.cn.rcfwr.cn http://www.morning.gqddl.cn.gov.cn.gqddl.cn http://www.morning.mggwr.cn.gov.cn.mggwr.cn http://www.morning.srbfp.cn.gov.cn.srbfp.cn http://www.morning.zrnph.cn.gov.cn.zrnph.cn http://www.morning.nydgg.cn.gov.cn.nydgg.cn http://www.morning.rcrfz.cn.gov.cn.rcrfz.cn http://www.morning.kgkph.cn.gov.cn.kgkph.cn http://www.morning.xyjlh.cn.gov.cn.xyjlh.cn http://www.morning.bhdyr.cn.gov.cn.bhdyr.cn http://www.morning.zhghd.cn.gov.cn.zhghd.cn http://www.morning.mmtbn.cn.gov.cn.mmtbn.cn http://www.morning.beijingzy.com.cn.gov.cn.beijingzy.com.cn http://www.morning.jfmyt.cn.gov.cn.jfmyt.cn
