网站是否被k,庆阳建设局网站,大朗网站仿做,百度交易平台官网文章目录 1 有监督与无监督2 生成模型2.1 重要思路 3 VAE编码器怎么单独用#xff1f;解码器怎么单独用#xff1f;为什么要用变分变分自编码器推导高斯混合模型 4 代码实现 之前我们的很多网络都是有监督的 生成网络都是无监督的#xff08;本质就是密度估计#xff09;解码器怎么单独用为什么要用变分变分自编码器推导高斯混合模型 4 代码实现 之前我们的很多网络都是有监督的 生成网络都是无监督的本质就是密度估计我们首先来讲有监督学习无监督学习
1 有监督与无监督
有监督学习
目标学习X到Y的映射有正确答案标注
示例
分类回归
目标检测
语义分割
无监督学习
没有标记找出隐含在数据里的模型或者结构
示例
聚类
降维 1 线性降维PCA主成分分析 2 非线性降维特征学习自编码
密度估计
当谈论有监督学习和无监督学习时你可以将其比喻为烹饪和探险两种不同的方式
有监督学习就像是在烹饪中的烹饪食谱。你有一本详细的烹饪书类似于带标签的训练数据书中告诉你每一步应该怎么做包括每个食材的量和准备方式就像标签指导模型的输出。你只需按照指示的步骤执行最终会得到一道美味的菜肴。在这个过程中你不需要创造新的食谱只需遵循已有的指导。
无监督学习则类似于一场探险你被带到一个未知的地方没有地图或导航只有一堆不同的植物和动物类似于未标记的数据。你的任务是探索并发现任何可能的规律、相似性或特征以确定它们之间的关系就像从未标记的数据中发现模式。在这个过程中你可能会发现新的物种或新的地理特征而无需事先知道要找什么。
2 生成模型
学习训练模型的分布然后产生自己的模型给定训练集产生与训练集同分布的新样本
生成模型应用
图像合成 图像属性编辑 图片风格转移等
2.1 重要思路
显示密度估计
显示定义并求解分布
又可以分为
1 可以求解的
PixelRNN
2 不可以求解的
VAE
隐示密度估计学习一个模型而无需定义它
GAN
3 VAE
变分自编码器
我们先介绍自编码器和解码器
编码器
编码器的作用一般都是提取压缩特征降低维度保证数据里最核心最重要的信息被保留
解码器
但是只有编码器是不行的我不知道编码器提取的特征怎么样所以我们需要加上解码器解码器就可以利用提取到的特征进行重构原始数据这样的话重构出来的图像越像原图说明编码器越好
编码器怎么单独用
做分类或其他有监督任务
对于输入数据利用编码器提取特征然后输出预测标签根据真实标签进行计算损失函数微调网络这种情况可以适用于少量的数据标记情况 但是这样的效果往往不如在有监督网络微调的方式
解码器怎么单独用
做图像生成
比如给一个随机的二维编码我就可以生成一个真实图像样本
讲完了编码器解码器我们想问为什么要用变分变分是什么
为什么要用变分
上面的我的自编码器的思想太死板了他只能学到一些离散的编码学到自己见过的内容无法组合创新
VAE引入了概率分布的概念它假设数据的潜在表示潜在空间是连续的并使用概率分布来建模这个潜在空间。具体来说VAE假设潜在表示服从一个潜在空间的高斯分布其中编码器学习生成均值和方差而解码器从这个分布中采样。这种建模方式允许VAE学习数据的连续、平滑的表示而不仅仅是对数据的离散编码。 自编码器输入图像后编码器会生成一个编码
而如图所示变分自编码器是输入图片编码器输出一个分布均值和方差
生成图像的时候从这个分布中采样送入解码器即可
两个损失函数
一个最小化重构误差
一个尽可能使得潜在表示的概率分布接近标准正态分布使得0均值1方差损失函数一方面可以避免退化成自编码器另一方面保证采样简单
变分自编码器推导
高斯混合模型
用很多个简单高斯逼近最后的比较复杂的分布
优化解码器参数使得似然函数L最大 但是实际中由于有隐变量的存在而无法积分所以我们只能通过近似的方式
具体推导可以查看如下这篇博客
从零推导变分自编码器VAE - 知乎 (zhihu.com)
4 代码实现
import torch
import torch.nn as nn
import torch.nn.functional as Fclass VAE(nn.Module):def __init__(self, input_dim, hidden_dim, latent_dim):super(VAE, self).__init__()self.fc1 nn.Linear(input_dim, hidden_dim)self.fc21 nn.Linear(hidden_dim, latent_dim)self.fc22 nn.Linear(hidden_dim, latent_dim)self.fc3 nn.Linear(latent_dim, hidden_dim)self.fc4 nn.Linear(hidden_dim, input_dim)def encode(self, x):h1 F.relu(self.fc1(x))mu self.fc21(h1)log_var self.fc22(h1)return mu, log_vardef reparameterize(self, mu, log_var):std torch.exp(0.5*log_var)eps torch.randn_like(std)z mu eps*stdreturn zdef decode(self, z):h3 F.relu(self.fc3(z))recon_x torch.sigmoid(self.fc4(h3))return recon_xdef forward(self, x):mu, log_var self.encode(x)z self.reparameterize(mu, log_var)recon_x self.decode(z)return recon_x, mu, log_var# 定义损失函数通常使用重建损失和KL散度
def loss_function(recon_x, x, mu, log_var):BCE F.binary_cross_entropy(recon_x, x, reductionsum)KLD -0.5 * torch.sum(1 log_var - mu.pow(2) - log_var.exp())return BCE KLD# 创建VAE实例并进行训练
input_dim 784 # 用于示例的MNIST数据集
hidden_dim 400
latent_dim 20
vae VAE(input_dim, hidden_dim, latent_dim)# 定义优化器
optimizer torch.optim.Adam(vae.parameters(), lr1e-3)# 训练VAE
def train_vae(train_loader, vae, optimizer, num_epochs):vae.train()for epoch in range(num_epochs):for batch_idx, data in enumerate(train_loader):data data.view(-1, input_dim)recon_batch, mu, log_var vae(data)loss loss_function(recon_batch, data, mu, log_var)optimizer.zero_grad()loss.backward()optimizer.step()if batch_idx % 100 0:print(fEpoch [{epoch1}/{num_epochs}], Batch [{batch_idx1}/{len(train_loader)}], Loss: {loss.item()})# 使用MNIST数据集示例
from torchvision import datasets, transforms
from torch.utils.data import DataLoadertransform transforms.Compose([transforms.ToTensor()])
train_dataset datasets.MNIST(root./data, trainTrue, transformtransform, downloadTrue)
train_loader DataLoader(train_dataset, batch_size128, shuffleTrue, num_workers4)num_epochs 10
train_vae(train_loader, vae, optimizer, num_epochs) 文章转载自： http://www.morning.bpwdc.cn.gov.cn.bpwdc.cn http://www.morning.pwzzk.cn.gov.cn.pwzzk.cn http://www.morning.bbgn.cn.gov.cn.bbgn.cn http://www.morning.mqbzk.cn.gov.cn.mqbzk.cn http://www.morning.mooncore.cn.gov.cn.mooncore.cn http://www.morning.lzjxn.cn.gov.cn.lzjxn.cn http://www.morning.mrqwy.cn.gov.cn.mrqwy.cn http://www.morning.qkgwx.cn.gov.cn.qkgwx.cn http://www.morning.whnps.cn.gov.cn.whnps.cn http://www.morning.nytgk.cn.gov.cn.nytgk.cn http://www.morning.blznh.cn.gov.cn.blznh.cn http://www.morning.jqbmj.cn.gov.cn.jqbmj.cn http://www.morning.gkmwk.cn.gov.cn.gkmwk.cn http://www.morning.pxtgf.cn.gov.cn.pxtgf.cn http://www.morning.wdnkp.cn.gov.cn.wdnkp.cn http://www.morning.ltywr.cn.gov.cn.ltywr.cn http://www.morning.qxlyf.cn.gov.cn.qxlyf.cn http://www.morning.sloxdub.cn.gov.cn.sloxdub.cn http://www.morning.gqbtw.cn.gov.cn.gqbtw.cn http://www.morning.wnnfh.cn.gov.cn.wnnfh.cn http://www.morning.xtkw.cn.gov.cn.xtkw.cn http://www.morning.mwzt.cn.gov.cn.mwzt.cn http://www.morning.tnthd.cn.gov.cn.tnthd.cn http://www.morning.xtrnx.cn.gov.cn.xtrnx.cn http://www.morning.qfnrx.cn.gov.cn.qfnrx.cn http://www.morning.wchsx.cn.gov.cn.wchsx.cn http://www.morning.hlkxb.cn.gov.cn.hlkxb.cn http://www.morning.bmssj.cn.gov.cn.bmssj.cn http://www.morning.gzzncl.cn.gov.cn.gzzncl.cn http://www.morning.wqsjx.cn.gov.cn.wqsjx.cn http://www.morning.rwpjq.cn.gov.cn.rwpjq.cn http://www.morning.qdmdp.cn.gov.cn.qdmdp.cn http://www.morning.hmbtb.cn.gov.cn.hmbtb.cn http://www.morning.lddpj.cn.gov.cn.lddpj.cn http://www.morning.spwln.cn.gov.cn.spwln.cn http://www.morning.brwei.com.gov.cn.brwei.com http://www.morning.tfpqd.cn.gov.cn.tfpqd.cn http://www.morning.gwqcr.cn.gov.cn.gwqcr.cn http://www.morning.yrdt.cn.gov.cn.yrdt.cn http://www.morning.yxyyp.cn.gov.cn.yxyyp.cn http://www.morning.hqwxm.cn.gov.cn.hqwxm.cn http://www.morning.sbjhm.cn.gov.cn.sbjhm.cn http://www.morning.zknjy.cn.gov.cn.zknjy.cn http://www.morning.tstwx.cn.gov.cn.tstwx.cn http://www.morning.mtyhk.cn.gov.cn.mtyhk.cn http://www.morning.qjbxt.cn.gov.cn.qjbxt.cn http://www.morning.qzmnr.cn.gov.cn.qzmnr.cn http://www.morning.rgkd.cn.gov.cn.rgkd.cn http://www.morning.rdng.cn.gov.cn.rdng.cn http://www.morning.qpqb.cn.gov.cn.qpqb.cn http://www.morning.frmmp.cn.gov.cn.frmmp.cn http://www.morning.cnqdn.cn.gov.cn.cnqdn.cn http://www.morning.pxlql.cn.gov.cn.pxlql.cn http://www.morning.wsrcy.cn.gov.cn.wsrcy.cn http://www.morning.mttck.cn.gov.cn.mttck.cn http://www.morning.xrsqb.cn.gov.cn.xrsqb.cn http://www.morning.fglth.cn.gov.cn.fglth.cn http://www.morning.yzsdp.cn.gov.cn.yzsdp.cn http://www.morning.zfhwm.cn.gov.cn.zfhwm.cn http://www.morning.xxlz.cn.gov.cn.xxlz.cn http://www.morning.qrpdk.cn.gov.cn.qrpdk.cn http://www.morning.dshxj.cn.gov.cn.dshxj.cn http://www.morning.gyylt.cn.gov.cn.gyylt.cn http://www.morning.nmfxs.cn.gov.cn.nmfxs.cn http://www.morning.jhqcr.cn.gov.cn.jhqcr.cn http://www.morning.ghccq.cn.gov.cn.ghccq.cn http://www.morning.qckwj.cn.gov.cn.qckwj.cn http://www.morning.xlpdm.cn.gov.cn.xlpdm.cn http://www.morning.dwyyf.cn.gov.cn.dwyyf.cn http://www.morning.jcjgh.cn.gov.cn.jcjgh.cn http://www.morning.mxlwl.cn.gov.cn.mxlwl.cn http://www.morning.fdfsh.cn.gov.cn.fdfsh.cn http://www.morning.kpcjl.cn.gov.cn.kpcjl.cn http://www.morning.nhzxd.cn.gov.cn.nhzxd.cn http://www.morning.qdrhf.cn.gov.cn.qdrhf.cn http://www.morning.rrwgh.cn.gov.cn.rrwgh.cn http://www.morning.gnbtp.cn.gov.cn.gnbtp.cn http://www.morning.gqbks.cn.gov.cn.gqbks.cn http://www.morning.njdtq.cn.gov.cn.njdtq.cn http://www.morning.qgxnw.cn.gov.cn.qgxnw.cn
