亚马逊网站开发使用的什么方式,wordpress单页调用标题,哪个网站可以做海报,国内it外包龙头企业目录 一.什么是卷积#xff1f;
二.卷积神经网络的组成
三.卷积网络基本元素介绍
3.1卷积
3.2填充和步幅
3.2.1填充#xff08;Padding#xff09; 填充是指在输入数据周围添加额外的边界值#xff08;通常是零#xff09;#xff0c;以扩展输入的尺寸。填充可以在卷…目录 一.什么是卷积
二.卷积神经网络的组成
三.卷积网络基本元素介绍
3.1卷积
3.2填充和步幅
3.2.1填充Padding 填充是指在输入数据周围添加额外的边界值通常是零以扩展输入的尺寸。填充可以在卷积操作中起到两个主要的作用
3.2.2步幅Stride 3.3多输入通道
3.4池化层 四.LeNet 一.什么是卷积 当我们谈论卷积时通常指的是数学中的卷积运算。在卷积神经网络中卷积操作是一种数学运算用于处理图像和其他具有网格结构的数据。 可以将卷积操作想象为两个函数之间的一种运算。首先我们有一个输入函数比如图像它表示为一个矩阵或张量。然后我们有另一个函数称为卷积核或滤波器它也是一个矩阵或张量。 卷积操作的核心思想是将卷积核与输入函数的局部区域进行逐元素的乘法并将乘积结果相加从而得到输出函数的对应位置的值。这个过程可以通过滑动卷积核的方式在输入函数上进行。具体来说卷积核从输入函数的左上角开始按照一定的步长stride在输入函数上滑动每次都与输入函数的一个局部区域进行逐元素的乘法并求和得到输出函数的一个元素。 实现示例中的卷积运算
import torch
from torch import nn
from d2l import torch as d2ldef corr2d(X, K): #save计算二维互相关运算h, w K.shapeY torch.zeros((X.shape[0] - h 1, X.shape[1] - w 1))for i in range(Y.shape[0]):for j in range(Y.shape[1]):Y[i, j] (X[i:i h, j:j w] * K).sum()return Y
X torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K torch.tensor([[0.0, 1.0], [2.0, 3.0]])
corr2d(X, K)#结果
tensor([[19., 25.],[37., 43.]]) 通过卷积操作我们可以提取输入函数中的特征。卷积核中的权重决定了它对输入函数的不同局部模式的响应程度。例如在图像处理中卷积核可以检测边缘、纹理和其他图像特征。通过在网络中学习这些卷积核的权重网络可以自动发现和提取图像中的有用特征。 推荐博客CNN笔记通俗理解卷积神经网络_cnn卷积神经网络_v_JULY_v的博客-CSDN博客
二.卷积神经网络的组成 一个完整的卷积神经网络Convolutional Neural NetworkCNN通常由以下几个主要组件组成 输入层Input Layer接收原始输入数据例如图像的层。输入层的尺寸和通道数与输入数据的特征维度相对应。 卷积层Convolutional Layer卷积层是CNN的核心组件。它由一系列卷积核滤波器组成每个卷积核负责检测输入特征中的某种局部模式。卷积层通过卷积操作提取输入数据的特征并生成一系列特征图。 激活函数层Activation Layer在卷积层后面通常会应用激活函数如ReLU修正线性单元以引入非线性特性。激活函数层对每个特征图上的每个元素进行逐元素的非线性变换。 池化层Pooling Layer池化层用于减小特征图的空间尺寸并保留重要的特征。常见的池化操作包括最大池化和平均池化通过降低空间分辨率来减少参数数量和计算量。 全连接层Fully Connected Layer全连接层将前面的卷积层和池化层的输出转换为分类或回归所需的向量形式。每个神经元与上一层的所有神经元相连接通过学习权重和偏置来进行特征组合和分类。 输出层Output Layer输出层根据具体任务的需求确定可以是用于分类的softmax层用于回归的线性层或者其他适当的激活函数层。
除了上述主要组件之外卷积神经网络还可能包含其他一些辅助层或技术
批归一化层Batch Normalization Layer用于在网络的训练过程中对每个小批量样本进行归一化加速收敛并提高鲁棒性。Dropout层通过随机将一部分神经元的输出置零来减少过拟合。损失函数Loss Function用于衡量网络输出与真实标签之间的差异根据具体任务选择适当的损失函数。优化器Optimizer用于更新网络中的权重和偏置以最小化损失函数。常见的优化算法包括随机梯度下降SGD、Adam、RMSProp等。 这些组件和技术的组合形成了一个完整的卷积神经网络能够对输入数据进行特征提取、分类、回归等任务并在训练过程中通过反向传播算法进行参数优化。网络的具体架构和层数可以根据任务的复杂性和数据集的特点进行设计和调整。
三.卷积网络基本元素介绍
3.1卷积
见上
3.2填充和步幅
3.2.1填充Padding 填充是指在输入数据周围添加额外的边界值通常是零以扩展输入的尺寸。填充可以在卷积操作中起到两个主要的作用
保持特征图尺寸卷积操作会导致特征图尺寸减小通过填充可以控制特征图的大小使其与输入大小相匹配。这对于在网络层之间传递信息和保持空间分辨率很重要。边缘信息保留填充可以防止边缘信息的丢失。在没有填充的情况下边缘像素只能通过较少的卷积操作进行处理导致边缘信息在特征图中逐渐减少。通过填充可以保留更多的边缘信息。
3.2.2步幅Stride 步幅是指卷积核在输入数据上滑动的步长。通常步幅的值是正整数。较大的步幅会导致特征图尺寸减小因为卷积核在输入上移动的距离增加了。步幅的作用主要体现在两个方面
特征图尺寸控制通过调整步幅的大小可以控制特征图的尺寸。较大的步幅可以减小特征图的尺寸而较小的步幅可以保持更多的空间信息。特征提取的多尺度较大的步幅可以在输入数据的不同位置上进行特征提取从而捕捉到不同尺度的特征。这对于处理具有不同大小目标的图像很有用。 3.3多输入通道 当输入包含多个通道时需要构造一个与输入数据具有相同输入通道数的卷积核以便与输入数据进行互相关运算。 下图中演示了一个具有两个输入通道的二维互相关运算的示例。阴影部分是第一个输出元素以及用于计算这个输出的输入和核张量元素(1×12×24×35×4)(0×01×13×24×3)56。 参考6.4. 多输入多输出通道 — 动手学深度学习 2.0.0 documentation
3.4池化层 与卷积层类似池化层运算符由一个固定形状的窗口组成该窗口根据其步幅大小在输入的所有区域上滑动为固定形状窗口有时称为汇聚窗口遍历的每个位置计算一个输出。 然而不同于卷积层中的输入与卷积核之间的互相关计算池化层不包含参数。 相反池运算是确定性的我们通常计算汇聚窗口中所有元素的最大值或平均值。这些操作分别称为最大池化层maximum pooling和平均池化层average pooling。 四.LeNet LeNet——最早的卷积神经网络总体来看LeNetLeNet-5由两个部分组成 卷积编码器由两个卷积层组成; 全连接层密集块由三个全连接层组成。 LeNet架构图 每个卷积块中的基本单元是一个卷积层、一个sigmoid激活函数和平均汇聚层。请注意虽然ReLU和最大汇聚层更有效但它们在20世纪90年代还没有出现。每个卷积层使用5×5卷积核和一个sigmoid激活函数。这些层将输入映射到多个二维特征输出通常同时增加通道的数量。第一卷积层有6个输出通道而第二个卷积层有16个输出通道。每个2×2池操作步幅2通过空间下采样将维数减少4倍。卷积的输出形状由批量大小、通道数、高度、宽度决定。 为了将卷积块的输出传递给稠密块我们必须在小批量中展平每个样本。换言之我们将这个四维输入转换成全连接层所期望的二维输入。这里的二维表示的第一个维度索引小批量中的样本第二个维度给出每个样本的平面向量表示。LeNet的稠密块有三个全连接层分别有120、84和10个输出。因为我们在执行分类任务所以输出层的10维对应于最后输出结果的数量。
import torch
from torch import nn
from d2l import torch as d2l# 定义卷积神经网络
net nn.Sequential(nn.Conv2d(1, 6, kernel_size5, padding2), nn.Sigmoid(), # 第一层卷积层nn.AvgPool2d(kernel_size2, stride2), # 第一层池化层nn.Conv2d(6, 16, kernel_size5), nn.Sigmoid(), # 第二层卷积层nn.AvgPool2d(kernel_size2, stride2), # 第二层池化层nn.Flatten(), # 展平操作将多维输入转换为一维向量nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(), # 全连接层1nn.Linear(120, 84), nn.Sigmoid(), # 全连接层2nn.Linear(84, 10) # 输出层输出类别的数量为10
) 以下是一段检查神经网络每个层形状的代码可用于快速纠错
X torch.rand(size(1, 1, 28, 28), dtypetorch.float32)
for layer in net:X layer(X)print(layer.__class__.__name__,output shape: \t,X.shape)
#结果
Conv2d output shape: torch.Size([1, 6, 28, 28])
Sigmoid output shape: torch.Size([1, 6, 28, 28])
AvgPool2d output shape: torch.Size([1, 6, 14, 14])
Conv2d output shape: torch.Size([1, 16, 10, 10])
Sigmoid output shape: torch.Size([1, 16, 10, 10])
AvgPool2d output shape: torch.Size([1, 16, 5, 5])
Flatten output shape: torch.Size([1, 400])
Linear output shape: torch.Size([1, 120])
Sigmoid output shape: torch.Size([1, 120])
Linear output shape: torch.Size([1, 84])
Sigmoid output shape: torch.Size([1, 84])
Linear output shape: torch.Size([1, 10])
具体代码实现6.6. 卷积神经网络LeNet — 动手学深度学习 2.0.0 documentation 文章转载自： http://www.morning.cbchz.cn.gov.cn.cbchz.cn http://www.morning.rpjr.cn.gov.cn.rpjr.cn http://www.morning.ldzss.cn.gov.cn.ldzss.cn http://www.morning.tknqr.cn.gov.cn.tknqr.cn http://www.morning.clhyj.cn.gov.cn.clhyj.cn http://www.morning.ybnps.cn.gov.cn.ybnps.cn http://www.morning.elmtw.cn.gov.cn.elmtw.cn http://www.morning.kryr.cn.gov.cn.kryr.cn http://www.morning.c7617.cn.gov.cn.c7617.cn http://www.morning.tmcmj.cn.gov.cn.tmcmj.cn http://www.morning.bwkhp.cn.gov.cn.bwkhp.cn http://www.morning.hkpyp.cn.gov.cn.hkpyp.cn http://www.morning.bjjrtcsl.com.gov.cn.bjjrtcsl.com http://www.morning.c7497.cn.gov.cn.c7497.cn http://www.morning.lffrh.cn.gov.cn.lffrh.cn http://www.morning.junyaod.com.gov.cn.junyaod.com http://www.morning.bfmq.cn.gov.cn.bfmq.cn http://www.morning.cpnlq.cn.gov.cn.cpnlq.cn http://www.morning.kztts.cn.gov.cn.kztts.cn http://www.morning.xfxlr.cn.gov.cn.xfxlr.cn http://www.morning.fpzz1.cn.gov.cn.fpzz1.cn http://www.morning.dzgyr.cn.gov.cn.dzgyr.cn http://www.morning.jxzfg.cn.gov.cn.jxzfg.cn http://www.morning.ftnhr.cn.gov.cn.ftnhr.cn http://www.morning.liyixun.com.gov.cn.liyixun.com http://www.morning.xqcbz.cn.gov.cn.xqcbz.cn http://www.morning.yxyyp.cn.gov.cn.yxyyp.cn http://www.morning.rfgc.cn.gov.cn.rfgc.cn http://www.morning.njnqn.cn.gov.cn.njnqn.cn http://www.morning.xwlhc.cn.gov.cn.xwlhc.cn http://www.morning.pgfkl.cn.gov.cn.pgfkl.cn http://www.morning.xnkh.cn.gov.cn.xnkh.cn http://www.morning.wklyk.cn.gov.cn.wklyk.cn http://www.morning.pqndg.cn.gov.cn.pqndg.cn http://www.morning.wnzgm.cn.gov.cn.wnzgm.cn http://www.morning.psxfg.cn.gov.cn.psxfg.cn http://www.morning.bfmrq.cn.gov.cn.bfmrq.cn http://www.morning.kjjbz.cn.gov.cn.kjjbz.cn http://www.morning.yppln.cn.gov.cn.yppln.cn http://www.morning.kbbmj.cn.gov.cn.kbbmj.cn http://www.morning.nqrfd.cn.gov.cn.nqrfd.cn http://www.morning.zdydj.cn.gov.cn.zdydj.cn http://www.morning.qbfkz.cn.gov.cn.qbfkz.cn http://www.morning.fdlyh.cn.gov.cn.fdlyh.cn http://www.morning.nzkc.cn.gov.cn.nzkc.cn http://www.morning.cgstn.cn.gov.cn.cgstn.cn http://www.morning.fosfox.com.gov.cn.fosfox.com http://www.morning.rfrnc.cn.gov.cn.rfrnc.cn http://www.morning.tfkqc.cn.gov.cn.tfkqc.cn http://www.morning.rlqqy.cn.gov.cn.rlqqy.cn http://www.morning.kdhrf.cn.gov.cn.kdhrf.cn http://www.morning.gchqy.cn.gov.cn.gchqy.cn http://www.morning.rfbpq.cn.gov.cn.rfbpq.cn http://www.morning.ymqfx.cn.gov.cn.ymqfx.cn http://www.morning.pqkyx.cn.gov.cn.pqkyx.cn http://www.morning.ydrml.cn.gov.cn.ydrml.cn http://www.morning.jngdh.cn.gov.cn.jngdh.cn http://www.morning.gcspr.cn.gov.cn.gcspr.cn http://www.morning.nxbsq.cn.gov.cn.nxbsq.cn http://www.morning.qsy39.cn.gov.cn.qsy39.cn http://www.morning.hmbtb.cn.gov.cn.hmbtb.cn http://www.morning.zfyr.cn.gov.cn.zfyr.cn http://www.morning.ksbmx.cn.gov.cn.ksbmx.cn http://www.morning.fldk.cn.gov.cn.fldk.cn http://www.morning.mfmx.cn.gov.cn.mfmx.cn http://www.morning.rjmd.cn.gov.cn.rjmd.cn http://www.morning.zymgs.cn.gov.cn.zymgs.cn http://www.morning.qygfb.cn.gov.cn.qygfb.cn http://www.morning.seoqun.com.gov.cn.seoqun.com http://www.morning.ltdxq.cn.gov.cn.ltdxq.cn http://www.morning.gqfks.cn.gov.cn.gqfks.cn http://www.morning.ctxt.cn.gov.cn.ctxt.cn http://www.morning.gccrn.cn.gov.cn.gccrn.cn http://www.morning.clwhf.cn.gov.cn.clwhf.cn http://www.morning.kngqd.cn.gov.cn.kngqd.cn http://www.morning.xctdn.cn.gov.cn.xctdn.cn http://www.morning.grwgw.cn.gov.cn.grwgw.cn http://www.morning.rrwft.cn.gov.cn.rrwft.cn http://www.morning.plqhb.cn.gov.cn.plqhb.cn http://www.morning.wbnsf.cn.gov.cn.wbnsf.cn
