拼多多网站建设框架图,可以做外贸私单的网站,苏州企业网站优化,微信云开发平台专栏#xff1a;神经网络复现目录 本章介绍的是现代神经网络的结构和复现#xff0c;包括深度卷积神经网络#xff08;AlexNet#xff09;#xff0c;VGG#xff0c;NiN#xff0c;GoogleNet#xff0c;残差网络#xff08;ResNet#xff09;#xff0c;稠密连接网络…专栏神经网络复现目录 本章介绍的是现代神经网络的结构和复现包括深度卷积神经网络AlexNetVGGNiNGoogleNet残差网络ResNet稠密连接网络DenseNet。 文章部分文字和代码来自《动手学深度学习》 文章目录深度卷积神经网络AlexNet学习表征AlexNet 架构模型设计使用模型进行Fashion-MNIST分类数据集超参数、优化器损失函数训练测试结果深度卷积神经网络AlexNet
学习表征
学习表征Representation Learning是机器学习中一个重要的研究领域旨在通过学习数据的表征从而更好地完成各种任务。在传统机器学习中通常需要手工设计特征然后将这些特征输入到模型中进行训练。这种方法需要具有专业领域知识的人员手工设计特征费时费力且很难设计出完美的特征。
而学习表征则是通过机器自动学习数据的特征表示省去了手动设计特征的过程提高了效率和性能。学习表征的方法可以分为无监督学习和监督学习两种。其中无监督学习是指在没有标注信息的情况下学习数据的表征比如自编码器、受限玻尔兹曼机、深度信念网络等监督学习则是利用带有标注信息的数据进行学习比如卷积神经网络、递归神经网络等。
通过学习表征可以更好地完成各种任务如图像分类、目标检测、语音识别等。同时学习表征也是深度学习领域的一个重要研究方向有助于深入理解深度神经网络的工作原理和特性。
有趣的是在网络的最底层模型学习到了一些类似于传统滤波器的特征抽取器。 下图从AlexNet论文 (Krizhevsky et al., 2012)复制的描述了底层图像特征。 AlexNet的更高层建立在这些底层表示的基础上以表示更大的特征如眼睛、鼻子、草叶等等。而更高的层可以检测整个物体如人、飞机、狗或飞盘。最终的隐藏神经元可以学习图像的综合表示从而使属于不同类别的数据易于区分。尽管一直有一群执着的研究者不断钻研试图学习视觉数据的逐级表征然而很长一段时间里这些尝试都未有突破。深度卷积神经网络的突破出现在2012年。突破可归因于两个关键因素。
AlexNet 架构 若图像大小为A ×\times× A卷积核大小为D ×\times× D扩充边缘paddingB步长strideC 则卷积后的特征图FeatureMap大小为A-DB*2C/ C 值得注意的一点原图输入224 × 224实际上进行了随机裁剪实际大小为227 × 227。
卷积层C1 C1的基本结构为卷积–ReLU–池化 卷积输入227 × 227 × 396个11×11×3的卷积核不扩充边缘padding 0步长stride 4因此其FeatureMap大小为(227-110×24)/4 55即55×55×96; 激活函数ReLU 池化池化核大小3 × 3不扩充边缘padding 0步长stride 2因此其FeatureMap输出大小为(55-30×22)/227, 即C1输出为27×27×96此处未将输出分到两个GPU中若按照论文将分成两组每组为27×27×48卷积层C2 C2的基本结构为卷积–ReLU–池化 卷积输入27×27×96256个5×5×96的卷积核扩充边缘padding 2 步长stride 1因此其FeatureMap大小为(27-52×21)/1 27即27×27×256; 激活函数ReLU 池化池化核大小3 × 3不扩充边缘padding 0步长stride 2因此其FeatureMap输出大小为(27-302)/213, 即C2输出为13×13×256此处未将输出分到两个GPU中若按照论文将分成两组每组为13×13×128卷积层C3 C3的基本结构为卷积–ReLU。注意一点此层没有进行MaxPooling操作。 卷积输入13×13×256384个3×3×256的卷积核 扩充边缘padding 1步长stride 1因此其FeatureMap大小为(13-31×21)/1 13即13×13×384; 激活函数ReLU即C3输出为13×13×384此处未将输出分到两个GPU中若按照论文将分成两组每组为13×13×192卷积层C4 C4的基本结构为卷积–ReLU。注意一点此层也没有进行MaxPooling操作。 卷积输入13×13×384384个3×3×384的卷积核 扩充边缘padding 1步长stride 1因此其FeatureMap大小为(13-31×21)/1 13即13×13×384; 激活函数ReLU即C4输出为13×13×384此处未将输出分到两个GPU中若按照论文将分成两组每组为13×13×192卷积层C5 C5的基本结构为卷积–ReLU–池化 卷积输入13×13×384256个3×3×384的卷积核扩充边缘padding 1步长stride 1因此其FeatureMap大小为(13-31×21)/1 13即13×13×256; 激活函数ReLU 池化池化核大小3 × 3 扩充边缘padding 0步长stride 2因此其FeatureMap输出大小为(13-30×22)/26, 即C5输出为6×6×256此处未将输出分到两个GPU中若按照论文将分成两组每组为6×6×128全连接层FC6 FC6的基本结构为全连接–ReLU–Dropout 全连接此层的全连接实际上是通过卷积进行的输入6×6×2564096个6×6×256的卷积核扩充边缘padding 0, 步长stride 1, 因此其FeatureMap大小为(6-60×21)/1 1即1×1×4096; 激活函数ReLU Dropout全连接层中去掉了一些神经节点达到防止过拟合FC6输出为1×1×4096全连接层FC7 FC7的基本结构为全连接–ReLU–Dropout 全连接此层的全连接输入1×1×4096; 激活函数ReLU Dropout全连接层中去掉了一些神经节点达到防止过拟合FC7输出为1×1×4096全连接层FC8 FC8的基本结构为全连接–softmax 全连接此层的全连接输入1×1×4096; softmaxsoftmax为1000FC8输出为1×1×1000
模型设计
class AlexNet(nn.Module):def __init__(self):super(AlexNet,self).__init__()#卷积层self.conv nn.Sequential(#C1nn.Conv2d(in_channels1,out_channels96,kernel_size11,padding0,stride4),nn.ReLU(),nn.MaxPool2d(kernel_size3,stride2),#C2nn.Conv2d(in_channels96,out_channels256,kernel_size5,padding2,stride1),nn.ReLU(),nn.MaxPool2d(kernel_size3,stride2),#C3nn.Conv2d(in_channels256,out_channels384,kernel_size3,padding1,stride1),nn.ReLU(),nn.MaxPool2d(kernel_size3,stride2),#C4nn.Conv2d(in_channels384,out_channels384,kernel_size3,padding1,stride1),nn.ReLU(),#C5nn.Conv2d(in_channels384,out_channels256,kernel_size3,padding1,stride1),nn.ReLU(),nn.MaxPool2d(kernel_size3,stride2),nn.Flatten(),#拉直层)#全连接层self.fcnn.Sequential(#FC6nn.Linear(256*5*5,4096),nn.ReLU(),nn.Dropout(0.5),#FC7nn.Linear(4096,4096),nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096,10),)def forward(self,img):featureself.conv(img)outputself.fc(feature)return outputdef layers(self):return [self.conv, self.fc]使用模型进行Fashion-MNIST分类
数据集
def get_dataloader_workers(): #save使用4个进程来读取数据return 4def load_data_fashion_mnist(batch_size, resizeNone): #save下载Fashion-MNIST数据集然后将其加载到内存中trans [transforms.ToTensor()]if resize:trans.insert(0, transforms.Resize(resize))trans transforms.Compose(trans)mnist_train torchvision.datasets.FashionMNIST(root../data, trainTrue, transformtrans, downloadTrue)mnist_test torchvision.datasets.FashionMNIST(root../data, trainFalse, transformtrans, downloadTrue)return (data.DataLoader(mnist_train, batch_size, shuffleTrue,num_workersget_dataloader_workers()),data.DataLoader(mnist_test, batch_size, shuffleFalse,num_workersget_dataloader_workers()))超参数、优化器损失函数
#超参数优化器和损失函数
batch_size 128
train_iter, test_iter load_data_fashion_mnist(batch_size, resize224)
lr, num_epochs 0.01, 10
optimizer torch.optim.SGD(net.parameters(), lrlr)
loss nn.CrossEntropyLoss()训练 def train(net, train_iter, test_iter, num_epochs, lr, device):def init_weights(m):if type(m) nn.Linear or type(m) nn.Conv2d:nn.init.xavier_uniform_(m.weight)net.apply(init_weights)print(training on, device)net.to(device)for epoch in range(num_epochs):# 训练损失之和训练准确率之和样本数net.train()train_step 0total_loss 0.0#总损失total_correct 0#总正确数total_examples 0#总训练数for i, (X, y) in enumerate(train_iter):optimizer.zero_grad()X, y X.to(device), y.to(device)y_hat net(X)l loss(y_hat, y)l.backward()optimizer.step()total_loss l.item()total_correct (y_hat.argmax(dim1) y).sum().item()total_examples y.size(0)train_step1if(train_step%500):#每训练一百组输出一次损失print(第{}轮的第{}次训练的loss:{}.format((epoch1),train_step,l.item()))train(net,train_iter,test_iter,num_epochs,lr,device)
测试
from d2l import torch as d2l
def predict(net, test_iter, n6): #savefor X, y in test_iter:X, y X.to(cuda), y.to(cuda)breaktrues d2l.get_fashion_mnist_labels(y)preds d2l.get_fashion_mnist_labels(net(X).argmax(axis1))titles [true \n pred for true, pred in zip(trues, preds)]d2l.show_images(X[0:n].cpu().reshape((n, 224, 224)), 1, n, titlestitles[0:n])
predict(net, test_iter)
结果
