网站风格定位有哪些,彩票网站代理怎么做,商务网站规划与设计,网站地图导出怎么做一、概述 输入的图像都很大#xff0c;使用全连接网络的话#xff0c;计算的代价较高#xff0c;图像也很难保留原本特征。 卷积神经网络#xff08;Convolutional Neural Network#xff0c;CNN#xff09;是一种专门用于处理具有网格状结构数据的深度学习模型。主要应用…一、概述 输入的图像都很大使用全连接网络的话计算的代价较高图像也很难保留原本特征。 卷积神经网络Convolutional Neural NetworkCNN是一种专门用于处理具有网格状结构数据的深度学习模型。主要应用于计算机视觉任务但它的成功启发了在其他领域应用如自然语言处理等。 CNN网络主要有三部分构成卷积层、池化层和全连接层构成卷积层负责提取图像中的局部特征池化层用来大幅降低运算量并特征增强全连接层类似神经网络的部分用来输出想要的结果。
1、全连接网络处理图像缺陷 参数结束了巨大假设使用 100*1000的输入神经元存在1000*1000那么其中需要使用权重参数达到 10的十二次方。 表达能力全连接无法利用好图片像素的空间特性降低了学习效率
2、卷积思想 分为两个部分卷和积 卷 表示从左上 开始到右上最后到右下的循环过程积 表示将每次卷的内容进行乘积求和。
2.1、局部连接 没有全连接方式空间距离越近的像素相互影响越大局部特征完成目标的识别
2.2、权重共享 从一块区域学习的信息应用到其他区域减少参数量降低学习难度和计算量
二、 卷积层 Convolutional
1、卷积核 一个矩阵用于提取图像的特征根据数值内容处理为具体特征意义的数值 卷积核过滤器的个数决定了卷积层输出特征矩阵的通道数卷积核的大小一般设置为奇数形式的n*n少数出现n*mn决定行的卷积m决定列的卷积
2、卷积计算 原图像5*5 的矩阵经过边缘填充变成7*7的矩阵 卷积核3*3的矩阵 特征图 5*5的矩阵 卷积计算过程就是将卷积核放在图片信息上移动计算每次达到下一个位置时重合区域点对点相乘后全部相加这个值就是特征图的一个格子数据图像遍历完成后所有的结果拼接变为特征图。 如下图左上角的区域对于卷积核位置相乘相加 API nn.Conv2d
参数in_channels int 图像信息的通道数 out_channels int 输出特征图的通道数 kernel_size int 或 tuple 卷积核的大小 stride int 或 tuple 步长默认1表示行或列的移动距离 padding int默认0 填充保障边缘信息被提取 dilation int 或 tuple 默认1表示无间隔若为1表示每次卷积核映射图像数据时点位要行列都间隔1个格子。 groups 分组 bias 默认True需要偏置 padding_mode str 填充模式默认zero填充 device 设备 dtype 数据类型
代码
import torch
import torch.nn as nn
from matplotlib import pyplot as plt def test001():img plt.imread(./data/1.jpg)img torch.tensor(img, dtypetorch.float32).permute(2,0,1).unsqueeze(0)# 创建卷积核conv nn.Conv2d(in_channels3, # 与输入特征图的通道数相同out_channels3, # 决定输出特征图的通道数kernel_size 3, # 卷积核的大小padding1 # 填充周边)img_c conv(img)img_c img_c.permute(0,2,3,1).squeeze(0)plt.imshow(img_c.detach().numpy())plt.show()def test002():input torch.randn(10,2,5,6)# 创建卷积核conv nn.Conv2d(in_channels2, # 与输入特征图的通道数相同out_channels3, # 决定输出特征图的通道数kernel_size (3,5), # 卷积核的大小padding0, # 填充周边stride1,biasTrue)output conv(input) # n (w-f2p)/s1 -- H (5-32*0)/113 W (6-52*0)/112# w 通道大小# f 卷积核大小# p 填充大小# s 步长大小print(output.shape)if __name__ __main__:test001() 3、卷积计算的底层表示 4、padding 边缘填充 每次卷积都会对图像矩阵的行列数降低若想要保持图像大小不变则需要填充边缘一般设置padding值为 图像矩阵大小 - 卷积核大小/2 如卷积计算的动图就是padding设置为1 也就是图像矩阵大小减去卷积核大小5-3/2 的值
5、stride 步长 stride太小重复计算较多计算量大训练效率降低 stride太大会造成信息遗漏无法有效提炼数据背后的特征 步长为1 步长为2 6、多通道计算 输入通道多时图片一般为三通道或四通道需要卷积核的 in_channels 等于输入通道数卷积核的通道数与输入通道数一致 卷积核的个数与输出通道数一致 7、多卷积核计算 从不同到的视角、不同的角度对图像特征进行提取。 8、特征图大小 计算方式 若行列并不相等图像、卷积核等那么就需要单独计算 9、参数共享 若数据为 32*32*3 的图像使用了10*5*5的卷积核进行卷积操作只需要考虑图像的通道了图像大小不重要因为参数共享那么其需要的权重参数为
5*5*3 75 表示每一个卷积核所需要的参数 10*75750 表示全部卷积核所需要的参数若考虑偏置系数则需要加上每个卷积核一个偏置系数总共为760个参数
若是选择使用全连接那么所有的连接都需要使用权重参数图像大小32*32 * 3* 10*5*5 10*5*5 768,250
三、池化层 Pooling
1、意义 降低数据维度减小模型提高计算速度主要用于对卷积层处理后的特征图进行下采样操作。
2、计算方式 分为了 最大池化 maxpolling 和 平均池化 avgpooling
2.1、最大池化 选取映射内容中最大的数值 2.2、平均池化 所有映射值的平均值 3、步长 stride 步长为1和步长为2 的对比 4、边缘填充 padding 5、多通道计算 对每个输入通道分别池化而不是像卷积层那样将各个通道的输入相加。 池化层的输出和输入的通道数保持相等。 6、API nn.MaxPool2d
参数kernel_size int 或 tuple 池化核于卷积核一样 stride int 或 tuple 步长 padding int 或 tuple 填充 dilation int 或 tuple 膨胀 return_indices 默认false不返回取值对于下标 ceil_mode 默认false向上取整
import torch
import torch.nn as nndef test01():torch.manual_seed(1)# 输入数据input torch.randint(0,255,(1,64,224,224))print(输入数据\n,input[0][0][:6,:6])# 池化核pool nn.MaxPool2d(kernel_size2,# 池化核大小stride2,return_indicesTrue)# 对数据池化out,return_indices pool(input)print(下标:\n,return_indices[0][0][:6,:6])print(输出结果:\n,out.shape)if __name__ __main__:test01()
四、卷积扩展
1、反卷积 因为一般情况下使用卷积会造成缩小所以需要使用填充对图像大小调整称为反卷积
2、空洞卷积膨胀 使用参数 dilation 控制膨胀程度1表示不膨胀2表示膨胀一格距离。 import torch
import torch.nn as nndef test003():torch.manual_seed(1)# 输入数据x torch.randn(1,1,7,7)# 创建一个卷积核conv nn.Conv2d(in_channels1,out_channels1, kernel_size3, stride1,dilation2,)out conv(x)print(out.shape)print(out)if __name__ __main__:test003() 3、可分离卷积
3.1、空间可分离卷积 将卷积核拆分为两个独立的核计算3*3 -- 3*1 1*3 拆分后计算量比标准卷积更少。 如图5*5 的数据矩阵需要使用3*3的卷积核计算先使用3*1的卷积核计算得到3*5得数据在使用1*3得卷积和得到3*3得数据结果。
import torch
import torch.nn as nn# def test004():
class nornalModel(nn.Module):def __init__(self):super(nornalModel, self).__init__()self.conv1 nn.Conv2d(in_channels8, out_channels8, kernel_size3,stride1,padding0,biasFalse)def forward(self, x):self.conv1.weight.data.fill_(1)x self.conv1(x)return xclass waveModel(nn.Module):def __init__(self):super(waveModel, self).__init__()self.conv1 nn.Conv2d(in_channels8, out_channels8, kernel_size(3,1),stride1,padding0,biasFalse)self.conv2 nn.Conv2d(in_channels8, out_channels8, kernel_size(1,3),stride1,padding0,biasFalse)def forward(self,x):self.conv1.weight.data.fill_(1)self.conv2.weight.data.fill_(1)x self.conv1(x)x self.conv2(x)return xif __name__ __main__:torch.manual_seed(1)input torch.randn(1,8,5,5)model1 nornalModel()for name, param in model1.named_parameters():print(name, param.shape)torch.manual_seed(1)input torch.randn(1,8,5,5)model2 waveModel()for name, param in model2.named_parameters():print(name, param.shape)# conv1.weight torch.Size([8, 8, 3, 3])
# conv1.weight torch.Size([8, 8, 3, 1])
# conv2.weight torch.Size([8, 8, 1, 3])
3.2、深度可分离卷积 在空间分离基础上加入通道分离使用参数 groups进行划分要求输入通道和输出通道都能被groups设定整数值整除也就是使用卷积核得不同通道处理输入输出得不同通道。
import torch
import torch.nn as nnclass Net1(nn.Module):def __init__(self):super(Net1, self).__init__()self.conv1 nn.Conv2d(in_channels8,out_channels8,kernel_size3,stride1,biasFalse)def forward(self, x):return self.conv1(x)class deepmovemodel(nn.Module):def __init__(self):super(deepmovemodel, self).__init__()self.conv1 nn.Conv2d(in_channels8,out_channels8,kernel_size3,stride1,biasFalse,groups8 # 卷积核数量等于通道数)self.conv2 nn.Conv2d(in_channels8,out_channels8,kernel_size1,stride1,biasFalse)def forward(self, x):x self.conv1(x)torch.ones_like(self.conv2.weight.data)x self.conv2(x)return xif __name__ __main__:torch.manual_seed(1)input torch.randn(1,8,5,5)model1 Net1()for name, param in model1.named_parameters():print(name,param.size())model2 deepmovemodel()for name, param in model2.named_parameters():print(name,param.size())# conv1.weight torch.Size([8, 8, 3, 3])
# conv1.weight torch.Size([8, 1, 3, 3])
# conv2.weight torch.Size([8, 8, 1, 1])
3.3、扁平卷积 等同空间可分离卷积如3*3得卷积核被拆分为3个1*1得卷积核分别计算通道、宽度、高度三个方面内容。
3.4、分组卷积 等同深度可分离卷积。 AlexNet论文中最先提出来的概念当时主要为了解决GPU显存不足问题。 卷积核被分成不同的组每组负责对相应的输入层进行卷积计算最后再进行合并。
3.5、感受野 理解为视野范围。 卷积操作从左到右为5*5矩阵经过3*3的卷积核卷积后得到3*3的矩阵在经过3*3的卷积核卷积后得到1*1的矩阵效果等同于5*5矩阵直接经过5*5的卷积核卷积操作。 感受野就是逆向的结果两个3*3的卷积核且步长为1感受野为5*5同理三个3*3的卷积核感受野就为7*7四个3*3为9*9步长为1 感受野的作用假设原本输入大小为 h × w × C并且使用了C个卷积核那么标准的一个7*7卷积核就需要 c* (h*w*c) 49 使用三个3*3的卷积核那么其感受野也还是7*7但是参数就变成了 3*C*(3*3*C) 27
五、卷积神经网络案例
1、模型结构
输入13232通道为1宽高为32的数据
卷积层1输入1 个通道等于输入数据的通道数输出6个通道卷积核个数卷积核大小为3*3
特征图1数据32*32卷积核3*3步长1填充032-32*0/1 1 30所以为6个30*30的特征图
池化层1使用6个2*2的池化核进行处理
特征图230*30池化后2*2步长为2结果为其一半 15*15
卷积层2输入6个通道输出16个通道卷积核为3*3
特征图315*15卷积后得到13*13 的大小 16个13*13
池化层2使用16个2*2的池化核进行处理
特征图413*13池化后2*2步长为2结果为其一半向下取整因为步长为2所以取不到最右边和最下边的数据 16个6*6
全连接1输入需要16*6*6576 维输出为 120维
全连接2输入120维输出为 84维
全连接3输入84维输出为 10维 2、使用代码展现网络模型
import torch
import torch.nn as nnclass numberModee(nn.Module):def __init__(self):super(numberModee, self).__init__()self.C1 nn.Sequential(nn.Conv2d(in_channels1, # 输入通道out_channels6, # 输出通道kernel_size3, # 卷积核大小stride1, # 步长padding0 # 填充),nn.ReLU())self.S2 nn.MaxPool2d(kernel_size2,stride2,padding0)self.C3 nn.Sequential(nn.Conv2d(in_channels6, out_channels16,kernel_size3, stride1, padding0),nn.ReLU())self.S4 nn.MaxPool2d(kernel_size2,stride2,padding0)self.C5 nn.Sequential(nn.Linear(16*6*6, 120),nn.ReLU())self.F6 nn.Sequential(nn.Linear(120, 84),nn.ReLU())self.OUTPUT nn.Sequential(nn.Linear(84, 10),nn.Softmax(dim1))def forward(self, x):x self.C1(x)x self.S2(x)x self.C3(x)x self.S4(x)x x.view(x.size(0),-1)x self.C5(x)x self.F6(x)x self.OUTPUT(x)return xif __name__ __main__:input torch.randn(1, 1, 32, 32)print(input)print(input.shape)net numberModee()out net(input) # 6 30*30 # 6 15*15# 16 13*13# 16 6*6# 120# 84# 10print(out)print(out.shape)
