网站建设 微信小程序,网页设计师证书怎么考?,wampserver集成环境搭建了一个织梦cms网站,庆阳网站设计费用深度学习12. CNN经典网络 VGG16 一、简介1. VGG 来源2. VGG分类3. 不同模型的参数数量4. 3x3卷积核的好处5. 关于学习率调度6. 批归一化 二、VGG16层分析1. 层划分2. 参数展开过程图解3. 参数传递示例4. VGG 16各层参数数量 三、代码分析1. VGG16模型定义2. 训练3. 测试 一、简… 深度学习12. CNN经典网络 VGG16 一、简介1. VGG 来源2. VGG分类3. 不同模型的参数数量4. 3x3卷积核的好处5. 关于学习率调度6. 批归一化 二、VGG16层分析1. 层划分2. 参数展开过程图解3. 参数传递示例4. VGG 16各层参数数量 三、代码分析1. VGG16模型定义2. 训练3. 测试 一、简介
1. VGG 来源
VGGVisual Geometry Group是一个视觉几何组在2014年提出的深度卷积神经网络架构。
VGG在2014年ImageNet图像分类竞赛亚军定位竞赛冠军VGG网络采用连续的小卷积核3x3和池化层构建深度神经网络网络深度可以达到16层或19层其中VGG16和VGG19最为著名。
VGG16和VGG19网络架构非常相似都由多个卷积层和池化层交替堆叠而成最后使用全连接层进行分类。两者的区别在于网络的深度和参数量VGG19相对于VGG16增加了3个卷积层和一个全连接层参数量也更多。
VGG网络被广泛应用于图像分类、目标检测、语义分割等计算机视觉任务中并且其网络结构的简单性和易实现性使得VGG成为了深度学习领域的经典模型之一。
本文参考内容https://www.kaggle.com/code/blurredmachine/vggnet-16-architecture-a-complete-guide
2. VGG分类
下图中的D就是VGG16E就是VGG19。 从图中看出当层数变深时通道数量会翻倍。
一些特点说明
每个模型分成了5个Block所有卷积层采用的都是3x3大小的卷积核 模型带LRN的是加了LRN层使用 2x2 小池化核网络测试阶段将训练阶段的三个全连接替换为三个卷积测试重用训练时的参数使得测试得到的全卷积网络因为没有全连接的限制因而可以接收任意宽或高为的输入。
3. 不同模型的参数数量
单位百万
NetworkA,A-LRNBCDE参数数量133133134138144
VGG的参数数量非常大。
4. 3x3卷积核的好处
参数少 一个3x3卷积核拥有9个权重参数而一个5x5卷积核则需要25个权重参数因此采用3x3卷积核可以大幅度减少网络的参数数量从而减少过拟合的风险提高非线性能力 多个3x3卷积核串联起来可以形成一个感受野更大的卷积核而且这个组合具有更强的非线性能力。在VGG中多次使用3x3卷积核相当于采用了更大的卷积核可以提高网络的特征提取能力减少计算量 一个3x3的卷积核可以通过步长为1的卷积操作得到与一个5x5卷积核步长为2相同的感受野但计算量更小即2个3x3代替一个5x53个3x3代替一个7x7的卷积因此VGG网络采用多个3x3的卷积核可以在不增加计算量的情况下增加感受野提高网络的性能
5. 关于学习率调度
学习率调度learning rate scheduling是优化神经网络模型时调整学习率的技术它会随着训练的进行动态地调整学习率的大小。通过学习率调度技术可以更好地控制模型的收敛速度和质量避免过拟合等问题。
常用的学习率调度包括常数衰减、指数衰减、余弦衰减和学习率分段调整等。
本文将使用StepLR学习率调度器代码示例
schedule optim.lr_scheduler.StepLR(optimizer, step_sizestep_size, gamma0.5, last_epoch-1)optim.lr_scheduler.StepLR 是 PyTorch中提供的一个学习率调度器。这个调度器根据训练的迭代次数来更新学习率当训练的迭代次数达到step_size的整数倍时学习率会乘以gamma这个因子即新学习率 旧学习率 * gamma。例如如果设置了step_size10和gamma0.5那么学习率会在第10、20、30、40…次迭代时变成原来的一半。
本文使用的 optimizer是SGD优化器。
6. 批归一化
nn.BatchNorm2d(256)是一个在PyTorch中用于卷积神经网络模型中的操作它可以对输入的二维数据(如图片)的每个通道进行归一化处理。
Batch Normalization 通过对每批数据的均值和方差进行标准化使得每层的输出都具有相同的均值和方差从而加快训练速度减少过拟合现象。nn.BatchNorm2d(256)中的256表示进行标准化的通道数通常设置为输入数据的特征数或者输出数据的通道数。
在使用nn.BatchNorm2d(256)时需要将其作为神经网络的一部分将其添加进网络层中位置是在卷积后、ReLU前经过训练之后每个卷积层的输出在经过BatchNorm层后都经过了归一化处理从而使得神经网络的训练效果更加稳定。
二、VGG16层分析
1. 层划分
输入224x224的RGB 彩色图像block1包含2个 [64x3x3] 的卷积层block2包含2个 [128x3x3] 的卷积层block3包含3个 [256x3x3] 的卷积层block4包含3个 [512x3x3] 的卷积层block5包含3个 [512x3x3] 的卷积层接着有3个全连接层一个分类输出层经过 SoftMax 输出 1000个类的后验概率。
2. 参数展开过程图解 上图中神经网络划分了5个block红色下采样 Max Pooling白色卷积层ReLU蓝色全连接ReLU神经网络参数传递从左向右参数传递过程中通道数越来越深尺寸越来越小从7x7x512下采样后参数被拉平为1x1的长向量进入全连接层
下图可以更清晰看出每个层的参数尺寸
3. 参数传递示例 4. VGG 16各层参数数量 从图中可以看出第一个全连接nfcr参数数量最多达到了1亿多这是因为前一个卷积层输出的向量在拉长成25088维向量第一个全连接层4096要与25088相乘每个神经元都要相连。
三、代码分析
1. VGG16模型定义
import torch
from torch import nn, optim
from torch.utils.data import DataLoader
from torchvision import datasets, transforms# VGG16网络模型
class Vgg16_net(nn.Module):def __init__(self):super(Vgg16_net, self).__init__()# 第一层卷积层self.layer1 nn.Sequential(# 输入3通道图像输出64通道特征图卷积核大小3x3步长1填充1nn.Conv2d(in_channels3, out_channels64, kernel_size3, stride1, padding1),# 对64通道特征图进行Batch Normalizationnn.BatchNorm2d(64),# 对64通道特征图进行ReLU激活函数nn.ReLU(inplaceTrue),# 输入64通道特征图输出64通道特征图卷积核大小3x3步长1填充1nn.Conv2d(in_channels64, out_channels64, kernel_size3, stride1, padding1),# 对64通道特征图进行Batch Normalizationnn.BatchNorm2d(64),# 对64通道特征图进行ReLU激活函数nn.ReLU(inplaceTrue),# 进行2x2的最大池化操作步长为2nn.MaxPool2d(kernel_size2, stride2))# 第二层卷积层self.layer2 nn.Sequential(# 输入64通道特征图输出128通道特征图卷积核大小3x3步长1填充1nn.Conv2d(in_channels64, out_channels128, kernel_size3, stride1, padding1),# 对128通道特征图进行Batch Normalizationnn.BatchNorm2d(128),# 对128通道特征图进行ReLU激活函数nn.ReLU(inplaceTrue),# 输入128通道特征图输出128通道特征图卷积核大小3x3步长1填充1nn.Conv2d(in_channels128, out_channels128, kernel_size3, stride1, padding1),# 对128通道特征图进行Batch Normalizationnn.BatchNorm2d(128),nn.ReLU(inplaceTrue),# 进行2x2的最大池化操作步长为2nn.MaxPool2d(2, 2))# 第三层卷积层self.layer3 nn.Sequential(# 输入为128通道输出为256通道卷积核大小为33步长为1填充大小为1nn.Conv2d(in_channels128, out_channels256, kernel_size3, stride1, padding1),# 批归一化nn.BatchNorm2d(256),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels256, out_channels256, kernel_size3, stride1, padding1),nn.BatchNorm2d(256),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels256, out_channels256, kernel_size3, stride1, padding1),nn.BatchNorm2d(256),nn.ReLU(inplaceTrue),nn.MaxPool2d(2, 2))self.layer4 nn.Sequential(nn.Conv2d(in_channels256, out_channels512, kernel_size3, stride1, padding1),nn.BatchNorm2d(512),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels512, out_channels512, kernel_size3, stride1, padding1),nn.BatchNorm2d(512),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels512, out_channels512, kernel_size3, stride1, padding1),nn.BatchNorm2d(512),nn.ReLU(inplaceTrue),nn.MaxPool2d(2, 2))self.layer5 nn.Sequential(nn.Conv2d(in_channels512, out_channels512, kernel_size3, stride1, padding1),nn.BatchNorm2d(512),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels512, out_channels512, kernel_size3, stride1, padding1),nn.BatchNorm2d(512),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels512, out_channels512, kernel_size3, stride1, padding1),nn.BatchNorm2d(512),nn.ReLU(inplaceTrue),nn.MaxPool2d(2, 2))self.conv nn.Sequential(self.layer1,self.layer2,self.layer3,self.layer4,self.layer5)self.fc nn.Sequential(nn.Linear(512, 512),nn.ReLU(inplaceTrue),nn.Dropout(0.5),nn.Linear(512, 256),nn.ReLU(inplaceTrue),nn.Dropout(0.5),nn.Linear(256, 10))def forward(self, x):x self.conv(x)# 对张量的拉平(flatten)操作即将卷积层输出的张量转化为二维全连接的输入尺寸为512x x.view(-1, 512)x self.fc(x)return x
2. 训练 # 批大小
batch_size 64
# 每n个batch打印一次损失
num_print 100# 总迭代次数
epoch_num 30
# 初始学习率
lr 0.01
# 每n次epoch更新一次学习率
step_size 10
# 更新学习率每次减半
gamma 0.5def transforms_RandomHorizontalFlip():# 训练集数据增强随机水平翻转、转换为张量、使用均值和标准差进行归一化transform_train transforms.Compose([transforms.RandomHorizontalFlip(),transforms.ToTensor(),transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225))])# 测试集数据转换为张量、使用均值和标准差进行归一化transform transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.485, 0.456, 0.406), (0.226, 0.224, 0.225))])train_dataset datasets.CIFAR10(root../path/cifar10, trainTrue, transformtransform_train, downloadTrue)test_dataset datasets.CIFAR10(root../path/cifar10, trainFalse, transformtransform, downloadTrue)return train_dataset, test_dataset# 随机翻转获取训练集和测试集数据
train_dataset, test_dataset transforms_RandomHorizontalFlip()
# 创建DataLoader用于加载训练集和测试集数据
train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue)
test_loader DataLoader(test_dataset, batch_sizebatch_size, shuffleFalse)device torch.device(cuda:0 if torch.cuda.is_available() else cpu)
# 创建Vgg16_net模型并将其移动到GPU或CPU
model Vgg16_net().to(device)
# 定义损失函数为交叉熵
criterion nn.CrossEntropyLoss()
# 定义优化器为随机梯度下降学习率为lr动量为0.8权重衰减为0.001
optimizer optim.SGD(model.parameters(), lrlr, momentum0.8, weight_decay0.001)
# 定义学习率调度器每step_size次epoch将学习率减半
schedule optim.lr_scheduler.StepLR(optimizer, step_sizestep_size, gammagamma, last_epoch-1)# 训练
loss_list []# 每个epoch循环训练一遍
for epoch in range(epoch_num):# 当前迭代次数ww 0# 累计损失值running_loss 0.0# 遍历数据加载器获取每个batchfor i, (inputs, labels) in enumerate(train_loader, 0):# 将数据和标签移动到GPU/CPU上inputs, labels inputs.to(device), labels.to(device)# 梯度清零optimizer.zero_grad()# 输入数据进行前向传播行到预测结果outputs model(inputs)# 计算损失loss criterion(outputs, labels).to(device)# 反向传播计算每个参数的梯度loss.backward()# 更新参数optimizer.step()# 累计损失值running_loss loss.item()# 将损失值放到loss_listloss_list.append(loss.item())# 打印当前epoch的平均损失值if (i 1) % num_print 0:print([%d epoch,%d] loss:%.6f % (epoch 1, i 1, running_loss / num_print))running_loss 0.0lr_1 optimizer.param_groups[0][lr]# 打印学习率print(learn_rate:%.15f % lr_1)schedule.step()3. 测试 # 测试
model.eval()
# 记录分类正确的样本数和总样本数
correct 0.0
total 0
with torch.no_grad():for inputs, labels in test_loader:inputs, labels inputs.to(device), labels.to(device)outputs model(inputs)# 取预测结果中概率最大的类别为预测结果pred outputs.argmax(dim1)# 总样本数累加total inputs.size(0)# 正确数量累加correct torch.eq(pred, labels).sum().item()
# 打印准确率
print(Accuracy of the network on the 10000 test images:%.2f %% % (100 * correct / total))
运行示例 文章转载自： http://www.morning.zlhzd.cn.gov.cn.zlhzd.cn http://www.morning.xpwdf.cn.gov.cn.xpwdf.cn http://www.morning.brld.cn.gov.cn.brld.cn http://www.morning.tqpnf.cn.gov.cn.tqpnf.cn http://www.morning.nkyc.cn.gov.cn.nkyc.cn http://www.morning.glcgy.cn.gov.cn.glcgy.cn http://www.morning.xpmhs.cn.gov.cn.xpmhs.cn http://www.morning.qrqdr.cn.gov.cn.qrqdr.cn http://www.morning.ssqrd.cn.gov.cn.ssqrd.cn http://www.morning.gqfbl.cn.gov.cn.gqfbl.cn http://www.morning.jrhcp.cn.gov.cn.jrhcp.cn http://www.morning.zcqgf.cn.gov.cn.zcqgf.cn http://www.morning.mmosan.com.gov.cn.mmosan.com http://www.morning.mjctt.cn.gov.cn.mjctt.cn http://www.morning.guangda11.cn.gov.cn.guangda11.cn http://www.morning.wglhz.cn.gov.cn.wglhz.cn http://www.morning.tgmwy.cn.gov.cn.tgmwy.cn http://www.morning.lclpj.cn.gov.cn.lclpj.cn http://www.morning.bpmfz.cn.gov.cn.bpmfz.cn http://www.morning.yqrfn.cn.gov.cn.yqrfn.cn http://www.morning.ljjph.cn.gov.cn.ljjph.cn http://www.morning.nhzxd.cn.gov.cn.nhzxd.cn http://www.morning.czcbl.cn.gov.cn.czcbl.cn http://www.morning.czwed.com.gov.cn.czwed.com http://www.morning.ncfky.cn.gov.cn.ncfky.cn http://www.morning.sthgm.cn.gov.cn.sthgm.cn http://www.morning.smsjx.cn.gov.cn.smsjx.cn http://www.morning.zqbrw.cn.gov.cn.zqbrw.cn http://www.morning.wcczg.cn.gov.cn.wcczg.cn http://www.morning.iknty.cn.gov.cn.iknty.cn http://www.morning.znrlg.cn.gov.cn.znrlg.cn http://www.morning.cgtrz.cn.gov.cn.cgtrz.cn http://www.morning.dmzqd.cn.gov.cn.dmzqd.cn http://www.morning.jtfsd.cn.gov.cn.jtfsd.cn http://www.morning.youprogrammer.cn.gov.cn.youprogrammer.cn http://www.morning.uytae.cn.gov.cn.uytae.cn http://www.morning.yrmgh.cn.gov.cn.yrmgh.cn http://www.morning.nxrgl.cn.gov.cn.nxrgl.cn http://www.morning.mlfmj.cn.gov.cn.mlfmj.cn http://www.morning.jfbpf.cn.gov.cn.jfbpf.cn http://www.morning.rknjx.cn.gov.cn.rknjx.cn http://www.morning.sfwcx.cn.gov.cn.sfwcx.cn http://www.morning.jrkzk.cn.gov.cn.jrkzk.cn http://www.morning.qlxgc.cn.gov.cn.qlxgc.cn http://www.morning.rttxx.cn.gov.cn.rttxx.cn http://www.morning.wnqfz.cn.gov.cn.wnqfz.cn http://www.morning.hhqjf.cn.gov.cn.hhqjf.cn http://www.morning.snnwx.cn.gov.cn.snnwx.cn http://www.morning.xrpwk.cn.gov.cn.xrpwk.cn http://www.morning.gnhsg.cn.gov.cn.gnhsg.cn http://www.morning.tdfyj.cn.gov.cn.tdfyj.cn http://www.morning.yzfrh.cn.gov.cn.yzfrh.cn http://www.morning.tlnbg.cn.gov.cn.tlnbg.cn http://www.morning.hhpbj.cn.gov.cn.hhpbj.cn http://www.morning.nytgk.cn.gov.cn.nytgk.cn http://www.morning.dqwykj.com.gov.cn.dqwykj.com http://www.morning.znrlg.cn.gov.cn.znrlg.cn http://www.morning.bfmrq.cn.gov.cn.bfmrq.cn http://www.morning.ptqds.cn.gov.cn.ptqds.cn http://www.morning.prmyx.cn.gov.cn.prmyx.cn http://www.morning.sryhp.cn.gov.cn.sryhp.cn http://www.morning.rnyhx.cn.gov.cn.rnyhx.cn http://www.morning.lfxcj.cn.gov.cn.lfxcj.cn http://www.morning.yrhd.cn.gov.cn.yrhd.cn http://www.morning.yrgb.cn.gov.cn.yrgb.cn http://www.morning.sooong.com.gov.cn.sooong.com http://www.morning.junyaod.com.gov.cn.junyaod.com http://www.morning.dnqpq.cn.gov.cn.dnqpq.cn http://www.morning.pftjj.cn.gov.cn.pftjj.cn http://www.morning.nqcts.cn.gov.cn.nqcts.cn http://www.morning.ljyqn.cn.gov.cn.ljyqn.cn http://www.morning.mkfhx.cn.gov.cn.mkfhx.cn http://www.morning.hqwtm.cn.gov.cn.hqwtm.cn http://www.morning.plgbh.cn.gov.cn.plgbh.cn http://www.morning.xfxlr.cn.gov.cn.xfxlr.cn http://www.morning.tturfsoc.com.gov.cn.tturfsoc.com http://www.morning.krtky.cn.gov.cn.krtky.cn http://www.morning.kzyr.cn.gov.cn.kzyr.cn http://www.morning.rxydr.cn.gov.cn.rxydr.cn http://www.morning.bndkf.cn.gov.cn.bndkf.cn
