jquery win8风格企业网站模板,wordpress 说说插件,网站运营小结,做网站公司简介模版9.系统学习-卷积神经网络 简介输入层卷积层感受野池化层全连接层代码实现 简介
卷积神经网络是一种用来处理局部和整体相关性的计算网络结构#xff0c;被应用在图像识别、自然语言处理甚至是语音识别领域#xff0c;因为图像数据具有显著的局部与整体关系#xff0c;其在图… 9.系统学习-卷积神经网络 简介输入层卷积层感受野池化层全连接层代码实现 简介
卷积神经网络是一种用来处理局部和整体相关性的计算网络结构被应用在图像识别、自然语言处理甚至是语音识别领域因为图像数据具有显著的局部与整体关系其在图像识别领域的应用获得了巨大的成功。卷积神经网络中一般包含5种类型的网络层:
输入层
输入层Input Layer通常是输入卷积神经网络的原始数据或经过预处理的数据可以是图像识别领域中原始三维的多彩图像也可以是音频识别领域中经过傅里叶变换的二维波形数据甚至是自然语言处理任务中一维表示的句子向量。
以图像分类任务为例输入层输入的图像一般包含 RGB 三个通道是一个由长宽分别为 H H H 和 W W W 组成的 3 维像素值矩阵 H × W × C H \times W \times C H×W×C卷积网络会将输入层的数据传递到一系列卷积、池化等操作中进行特征提取和转化最终由全连接层对特征进行汇总和结果输出。
根据计算能力、存储大小和模型结构的不同卷积神经网络每次可以批量处理的图像个数不尽相同若指定输入层接收到的图像个数为 N N N则输入层的输出数据为 N × C × H × W N \times C \times H \times W N×C×H×W
其中 N N N 是批量大小Batch Size。 C C C 是通道数例如 RGB 图像有 C 3 C3 C3 个通道。 H H H 和 W W W 分别是图像的高度和宽度。
卷积层
卷积层(Convolution Layer)通常用作对输入层输入数据进行特征提取通过卷积核矩阵对原始数据中隐含关联性的一种抽象。卷积操作原理上其实是对两张像素矩阵进行点乘求和的数学操作其中一个矩阵为输入的数据矩阵另一个矩阵则为卷积核滤波器或特征矩阵求得的结果表示为原始图像中提取的特定局部特征。对应过程如下图所示: 卷积层中需要用到卷积核滤波器或特征检测器与图像特征矩阵进行点乘运算利用卷积核与对应的特征感受域进行划窗式运算时需要设定卷积核对应的大小、步长、个数以及填充的方式 对应参数解释如表所示 卷积层有两个重要特性局部连接 和 权值共享。
局部连接是指卷积层的节点仅仅和其前一层的部分节点相连接只用来学习局部特征。局部感知结构的构思理念来源于动物视觉的皮层结构其指的是动物视觉的神经元在感知外界物体的过程中起作用的只有一部分神经元。
在计算机视觉中图像中的某一块区域中像素之间的相关性与像素之间的距离同样相关距离较近的像素间相关性强距离较远则相关性就比较弱。由此可见局部相关性理论也适用于计算机视觉的图像处理领域。因此局部感知采用部分神经元接受图像信息再通过综合全部的图像信息达到增强图像信息的目的。
权值共享是指计算同一深度的神经元时采用的卷积核参数是共享的。权值共享在一定程度上讲是有意义的是由于在神经网络中提取的底层边缘特征与其在图中的位置无关。但在某些场景中是无意的例如在人脸识别任务中我们期望在不同的位置学到不同的特征。
需要注意的是权重只是对于同一深度切片的神经元是共享的。在卷积层中通常采用多组卷积核提取不同的特征即对应的是不同深度切片的特征而不同深度切片的神经元权重是不共享的。相反偏置这一权值对于同一深度切片的所有神经元都是共享的。
权值共享带来的好处是大大降低了网络的训练难度。假设在局部连接中隐藏层的每一个神经元连接的是一个 10 × 10 10 \times 10 10×10 的局部图像因此有 10 × 10 10 \times 10 10×10 个权值参数。将这 10 × 10 10 \times 10 10×10 个权值共享给剩下的神经元也就是说隐藏层中一个神经元的权值参数相同那么此时无论隐藏层神经元的数量是多少需要训练的参数就是这 10 × 10 10 \times 10 10×10 个权值参数也就是卷积核的大小。
感受野
在CONV层每个输出节点的值仅依赖CONV层输入的一个区域这个区域之外的其他输入值都不会影响输出值该区域就是感受野。 图中是个微型CNN来自Inception‑v3论文原图是为了说明一个conv5x5可以用两个conv3x3代替从下到上称为第1 , 2 , 3层 第 2 层左下角的值是第 1 层左下红框中 3 × 3 3 \times 3 3×3 区域的值经过卷积也就是乘加运算计算出来的。即第 2 层左下角位置的感受野是第 1 层左下红框区域。 第 3 层唯一值是第 2 层所有 3 × 3 3 \times 3 3×3 区域卷积得到的即第 3 层唯一位置的感受野是第 2 层所有 3 × 3 3 \times 3 3×3 区域。 第 3 层唯一值是第 1 层所有 5 × 5 5 \times 5 5×5 区域经过两层卷积得到的即第 3 层唯一位置的感受野是第 1 层所有 5 × 5 5 \times 5 5×5 区域。 感受野计算时需要注意以下几点 最后一层卷积层或池化层输出特征图感受野的大小等于卷积核的大小。 第 i i i 层卷积层的感受野大小和第 ( i 1 ) (i1) (i1) 层的卷积核大小和步长有关同时也与第 ( i 1 ) (i1) (i1) 层感受野大小有关。 计算感受野大小时忽略了图像边缘的影响即不考虑 padding 的大小。
如果感受野大小使用的计算方式是采用从最后一层往下计算的方法即先计算最深层在前一层上的感受野然后逐层传递到第一层使用的公式可以表示如下 R F i ( R F i 1 − 1 ) × s t r i d e i K s i z e i RF_i (RF_{i1} - 1) \times stride_i Ksize_i RFi(RFi1−1)×strideiKsizei
其中 R F i RF_i RFi 是第 i i i 层卷积层的感受野 R F i 1 RF_{i1} RFi1 是第 ( i 1 ) (i1) (i1) 层上的感受野 s t r i d e stride stride 是卷积的步长 K s i z e Ksize Ksize 是本层卷积核大小。
如上图感受野的计算过程为 R F 2 3 RF_2 3 RF23 R F 1 ( 3 − 1 ) × 1 3 5 RF_1 (3 - 1) \times 1 3 5 RF1(3−1)×135
池化层
池化层又称为降采样层Downsampling Layer作用是对感受域内的特征进行筛选提取区域内最具代表性的特征能够有效地降低输出特征的尺寸进而减少模型所需要的参数量。按操作类型通常分为最大池化Max Pooling、平均池化Average Pooling和求和池化Sum Pooling它们分别提取感受域内最大、平均与总和的特征值作为输出。最常用的是最大池化。
全连接层
全连接层( Full Connected Layer )负责对卷积神经网络学习提取到的特征进行汇总将多维的特征输入映射为二维的特征输出高维表示样本批次低位常常对应任务目标.
代码实现
import torch
from torch import nn
%matplotlib inline
class CNN(nn.Module):def __init__(self):super(CNN, self).__init__()self.conv1 nn.Sequential( # input shape (1, 28, 28)nn.Conv2d(in_channels1, # input heightout_channels16, # n_filterskernel_size5, # filter sizestride1, # filter movement/steppadding2, # padding to keep same width/height), # output shape (16, 28, 28)nn.ReLU(), # activationnn.MaxPool2d(kernel_size2), # choose max value in 2x2 area, output shape (16, 14, 14))self.conv2 nn.Sequential( # input shape (16, 14, 14)nn.Conv2d(16, 32, 5, 1, 2), # output shape (32, 14, 14)nn.ReLU(), # activationnn.MaxPool2d(2), # output shape (32, 7, 7))self.out nn.Linear(32 * 7 * 7, 10) # fully connected layer, output 10 classesdef forward(self, x):x self.conv1(x)x self.conv2(x)x x.view(x.size(0), -1) # flatten the output of conv2 to (batch_size, 32 * 7 * 7)output self.out(x)return output
cnn CNN()
print(cnn) # 网络结构
