东莞建网站平台,网站设计制作平台哪个好,潍坊网站开发asp培训,手机网站做成app前言#xff1a;本文没有太多公式推理#xff0c;只有一些简单的公式#xff0c;以及公式和代码的对应关系。本文仅做个人学习笔记#xff0c;如有理解错误的地方#xff0c;请指出。
本文包含stable diffusion入门文献和不同版本的代码。
文献资源
本文学习的代码本文没有太多公式推理只有一些简单的公式以及公式和代码的对应关系。本文仅做个人学习笔记如有理解错误的地方请指出。
本文包含stable diffusion入门文献和不同版本的代码。
文献资源
本文学习的代码相关文献
Denoising Diffusion Probabilistic Models : DDPM这个是必看的推推公式Denoising Diffusion Implicit Models DDIM对 DDPM 的改进Pseudo Numerical Methods for Diffusion Models on Manifolds PNMD/PLMS对 DDPM 的改进High-Resolution Image Synthesis with Latent Diffusion Models Latent-Diffusion必看Neural Discrete Representation Learning VQVAE简单翻了翻示意图非常形象很容易了解其做法
代码资源
stable diffusion v1.1-v1.4 https://github.com/CompVis/stable-diffusionstable diffusion v1.5https://github.com/runwayml/stable-diffusionstable diffusion v2https://github.com/Stability-AI/stablediffusionstable diffusion XLhttps://github.com/Stability-AI/generative-models
前向过程训练
输入一张图片随机噪声训练unet网络预测图片加上的噪声
反向过程推理
给个随机噪声不断迭代去噪输出一张图片
总体流程
输入的prompt经过clip encoder编码成(33,77,768)特征正负prompt各3个默认negative prompt为空‘’解码时正的和负的latent图片用公式计算一下才是最终结果time step通过linear层得到(33,1280)特征把prompt和time ebedding和随机生成的图片放入unet得到的就是我们要的图片。
采样流程 text2img
该函数在PLMSSampler中输入x(噪声(3,4,64,64))-----c输入的prompt(3,77,768)----t 输入的time step第几次去噪(3,)。把这三个东西输入unet得到预测的噪声e_t。 def p_sample_plms(self, x, c, t, index, repeat_noiseFalse, use_original_stepsFalse, quantize_denoisedFalse,temperature1., noise_dropout0., score_correctorNone, corrector_kwargsNone,unconditional_guidance_scale1., unconditional_conditioningNone, old_epsNone, t_nextNone):b, *_, device *x.shape, x.devicedef get_model_output(x, t):if unconditional_conditioning is None or unconditional_guidance_scale 1.:e_t self.model.apply_model(x, t, c)else:x_in torch.cat([x] * 2)t_in torch.cat([t] * 2)c_in torch.cat([unconditional_conditioning, c]) # 积极消极的prompt解码时按照公式减去消极prompt的图像e_t_uncond, e_t self.model.apply_model(x_in, t_in, c_in).chunk(2)e_t e_t_uncond unconditional_guidance_scale * (e_t - e_t_uncond)if score_corrector is not None:assert self.model.parameterization epse_t score_corrector.modify_score(self.model, e_t, x, t, c, **corrector_kwargs)return e_talphas self.model.alphas_cumprod if use_original_steps else self.ddim_alphasalphas_prev self.model.alphas_cumprod_prev if use_original_steps else self.ddim_alphas_prevsqrt_one_minus_alphas self.model.sqrt_one_minus_alphas_cumprod if use_original_steps else self.ddim_sqrt_one_minus_alphassigmas self.model.ddim_sigmas_for_original_num_steps if use_original_steps else self.ddim_sigmasdef get_x_prev_and_pred_x0(e_t, index):# select parameters corresponding to the currently considered timestepa_t torch.full((b, 1, 1, 1), alphas[index], devicedevice)a_prev torch.full((b, 1, 1, 1), alphas_prev[index], devicedevice)sigma_t torch.full((b, 1, 1, 1), sigmas[index], devicedevice)sqrt_one_minus_at torch.full((b, 1, 1, 1), sqrt_one_minus_alphas[index],devicedevice)# current prediction for x_0pred_x0 (x - sqrt_one_minus_at * e_t) / a_t.sqrt()if quantize_denoised:pred_x0, _, *_ self.model.first_stage_model.quantize(pred_x0)# direction pointing to x_tdir_xt (1. - a_prev - sigma_t**2).sqrt() * e_tnoise sigma_t * noise_like(x.shape, device, repeat_noise) * temperatureif noise_dropout 0.:noise torch.nn.functional.dropout(noise, pnoise_dropout)x_prev a_prev.sqrt() * pred_x0 dir_xt noisereturn x_prev, pred_x0e_t get_model_output(x, t) # 模型预测的噪声if len(old_eps) 0:# Pseudo Improved Euler (2nd order)x_prev, pred_x0 get_x_prev_and_pred_x0(e_t, index) # 输入噪声减去预测噪声得到新的噪声当前预测的latent图片e_t_next get_model_output(x_prev, t_next)e_t_prime (e_t e_t_next) / 2 # 两次噪声的均值elif len(old_eps) 1:# 2nd order Pseudo Linear Multistep (Adams-Bashforth)e_t_prime (3 * e_t - old_eps[-1]) / 2elif len(old_eps) 2:# 3nd order Pseudo Linear Multistep (Adams-Bashforth)e_t_prime (23 * e_t - 16 * old_eps[-1] 5 * old_eps[-2]) / 12elif len(old_eps) 3:# 4nd order Pseudo Linear Multistep (Adams-Bashforth)e_t_prime (55 * e_t - 59 * old_eps[-1] 37 * old_eps[-2] - 9 * old_eps[-3]) / 24x_prev, pred_x0 get_x_prev_and_pred_x0(e_t_prime, index)return x_prev, pred_x0, e_t接下来看公式 网络得到e_t后进入到get_x_prev_and_pred_x0函数可以看到pred_x0 (x - sqrt_one_minus_at * e_t) / a_t.sqrt()就是上述公式也就是说网络的预测结果通过公式计算我们可以得到预测的pred_x0原始图片和前一刻的噪声图像x_prev。 def get_x_prev_and_pred_x0(e_t, index):# select parameters corresponding to the currently considered timestepa_t torch.full((b, 1, 1, 1), alphas[index], devicedevice)a_prev torch.full((b, 1, 1, 1), alphas_prev[index], devicedevice)sigma_t torch.full((b, 1, 1, 1), sigmas[index], devicedevice)sqrt_one_minus_at torch.full((b, 1, 1, 1), sqrt_one_minus_alphas[index],devicedevice)# current prediction for x_0pred_x0 (x - sqrt_one_minus_at * e_t) / a_t.sqrt()if quantize_denoised:pred_x0, _, *_ self.model.first_stage_model.quantize(pred_x0)# direction pointing to x_tdir_xt (1. - a_prev - sigma_t**2).sqrt() * e_tnoise sigma_t * noise_like(x.shape, device, repeat_noise) * temperatureif noise_dropout 0.:noise torch.nn.functional.dropout(noise, pnoise_dropout)x_prev a_prev.sqrt() * pred_x0 dir_xt noisereturn x_prev, pred_x0前一刻的噪声图像的推理公式如图 得到了上一刻的噪声图片x_prev后(也就是函数返回的img)继续迭代最终生成需要的图片。
额外说明
这部分代码应该就是PLMS加速采样用的论文中有公式推理 另外还有一些参数是训练时候保存的betas逐渐增大用来控制噪声的强度。变量名解析 log_one_minus_alphas_cumprod其实就是log(1-alpha(右下角t)(头上直线))没有带prev的都是当前时刻t带prev的是前一时刻t-1。 参考文献
https://blog.csdn.net/Eric_1993/article/details/129600524?spm1001.2014.3001.5502 https://zhuanlan.zhihu.com/p/630354327
