郑州网站推广公司电话,怎么注册公司比较好,做完整的网站设计需要的技术,网站关键词怎么做上首页一、深度学习概述
1. 什么是深度学习
人工智能、机器学习和深度学习之间的关系#xff1a; 机器学习是实现人工智能的一种途径#xff0c;深度学习是机器学习的子集#xff0c;区别如下#xff1a; 传统机器学习算法依赖人工设计特征、提取特征#xff0c;而深…一、深度学习概述
1. 什么是深度学习
人工智能、机器学习和深度学习之间的关系 机器学习是实现人工智能的一种途径深度学习是机器学习的子集区别如下 传统机器学习算法依赖人工设计特征、提取特征而深度学习依赖算法自动提取特征。深度学习模仿人类大脑的运行方式从大量数据中学习特征这也是深度学习被看做黑盒子、可解释性差的原因。
随着算力的提升深度学习可以处理图像文本音频视频等各种内容主要应用领域有
图像处理分类、目标检测、图像分割语义分割自然语言处理LLM、NLP、Transformer语音识别对话机器人、智能客服语音NLP自动驾驶语义分割行人、车辆、实线等LLM大Large语言Language模型Model机器人非常火的行业
有了大模型的加持AI各行各业。
2. 深度学习发展历史 深度学习其实并不是新的事物深度学习所需要的神经网络技术起源于20世纪50年代叫做感知机。当时使用单层感知机因为只能学习线性可分函数连简单的异或(XOR)等线性不可分问题都无能为力1969年Marvin Minsky写了一本叫做《Perceptrons》的书他提出了著名的两个观点1.单层感知机没用我们需要多层感知机来解决复杂问题 2.没有有效的训练算法。
20世纪80年代末期用于人工神经网络的反向传播算法也叫Back Propagation算法或者BP算法的发明给机器学习带来了希望掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统在很多方面显出优越性。这个时候的人工神经网络虽也被称作多层感知机Multi-layer Perceptron但实际是种只含有一层隐层节点的浅层模型。
2006年杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。
2012年在著名的ImageNet图像识别大赛中杰弗里·辛顿领导的小组采用深度学习模型AlexNet一举夺冠。AlexNet采用ReLU激活函数从根本上解决了梯度消失问题并采用GPU极大的提高了模型的运算速度。
同年吴恩达教授和Jeff Dean主导的深度神经网络DNN技术在ImageNet评测中把错误率从26降低到15再一次吸引了学术界和工业界对于深度学习领域的关注。
2016年随着谷歌公司基于深度学习开发的AlphaGo以4:1的比分战胜了国际顶尖围棋高手李世石深度学习的热度一时无两。后来AlphaGo又接连和众多世界级围棋高手过招均取得了完胜。这也证明了在围棋界基于深度学习技术的机器人已经超越了人类。
2017年基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世。其采用“从零开始”、“无师自通”的学习模式以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋它还精通国际象棋等其它棋类游戏可以说是真正的棋类“天才”。此外在这一年深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。
2019年基于Transformer 的自然语言模型的持续增长和扩散这是一种语言建模神经网络模型可以在几乎所有任务上提高NLP的质量。Google甚至将其用作相关性的主要信号之一这是多年来最重要的更新。
2020年深度学习扩展到更多的应用场景比如积水识别路面塌陷等而且疫情期间在智能外呼系统人群测温系统口罩人脸识别等都有深度学习的应用。
2024年的诺贝尔物理学奖授予了深度学习领域的两位杰出人物物理学家约翰·霍普菲尔德John Hopfield与“AI教父”杰弗里·辛顿Geoffrey Hinton。这个决定反映了深度学习在科学和技术领域日益增长的重要性,值得注意的是诺贝尔奖通常不会直接授予计算机科学领域因为它有自己的奖项比如图灵奖被认为是计算机科学领域的最高荣誉。然而由于深度学习对物理现象的理解和模拟具有重要意义因此授予物理学奖也是合理的。这一决定也突显了跨学科研究(也就是我们常说的:AI)的重要性及其对科学进步的推动作用。
3. 深度学习的优势 二、神经网络
我们要学习的深度学习(Deep Learning)是神经网络的一个子领域主要关注更深层次的神经网络结构也就是深层神经网络Deep Neural NetworksDNNs。所以我们需要先搞清楚什么是神经网络
1. 感知神经网络
神经网络Neural Networks是一种模拟人脑神经元网络结构的计算模型用于处理复杂的模式识别、分类和预测等任务。生物神经元如下图 生物学
人脑可以看做是一个生物神经网络由众多的神经元连接而成
树突从其他神经元接收信息的分支细胞核处理从树突接收到的信息轴突被神经元用来传递信息的生物电缆突触轴突和其他神经元树突之间的连接
人脑神经元处理信息的过程
多个信号到达树突然后整合到细胞体的细胞核中当积累的信号超过某个阈值细胞就会被激活产生一个输出信号由轴突传递。
神经网络由多个互相连接的节点即人工神经元组成。
2. 人工神经元
人工神经元(Artificial Neuron)是神经网络的基本构建单元模仿了生物神经元的工作原理。其核心功能是接收输入信号经过加权求和和非线性激活函数处理后输出结果。
2.1 构建人工神经元
人工神经元接受多个输入信息对它们进行加权求和再经过激活函数处理最后将这个结果输出。 2.2 组成部分
输入Inputs: 代表输入数据通常用向量表示每个输入值对应一个权重。权重Weights: 每个输入数据都有一个权重表示该输入对最终结果的重要性。偏置Bias: 一个额外的可调参数作用类似于线性方程中的截距帮助调整模型的输出。加权求和: 神经元将输入乘以对应的权重后求和再加上偏置。激活函数Activation Function: 用于将加权求和后的结果转换为输出结果引入非线性特性使神经网络能够处理复杂的任务。常见的激活函数有Sigmoid、ReLURectified Linear Unit、Tanh等。
2.3 数学表示
如果有 n 个输入 x 1 , x 2 , … , x n x_1, x_2, \ldots, x_n x1,x2,…,xn权重分别为 w 1 , w 2 , … , w n w_1, w_2, \ldots, w_n w1,w2,…,wn偏置为 b b b则神经元的输出 y y y 表示为 z ∑ i 1 n w i ⋅ x i b y σ ( z ) z\sum_{i1}^nw_i\cdot x_ib \\ y\sigma(z) zi1∑nwi⋅xibyσ(z) 其中 σ ( z ) \sigma(z) σ(z) 是激活函数。
2.4 对比生物神经元
人工神经元和生物神经元对比如下表
生物神经元人工神经元细胞核节点 (加权求和 激活函数)树突输入轴突带权重的连接突触输出
3. 深入神经网络
神经网络是由大量人工神经元按层次结构连接而成的计算模型。每一层神经元的输出作为下一层的输入最终得到网络的输出。
3.1 基本结构
神经网络有下面三个基础层Layer构建而成 输入层Input: 神经网络的第一层负责接收外部数据不进行计算。 隐藏层Hidden: 位于输入层和输出层之间进行特征提取和转换。隐藏层一般有多层每一层有多个神经元。 输出层Output: 网络的最后一层产生最终的预测结果或分类结果
3.2 网络构建
我们使用多个神经元来构建神经网络相邻层之间的神经元相互连接并给每一个连接分配一个权重经典如下 注意同一层的各个神经元之间是没有连接的。
3.3 全连接神经网络
全连接Fully ConnectedFC神经网络是前馈神经网络的一种每一层的神经元与上一层的所有神经元全连接常用于图像分类、文本分类等任务。
3.3.1 特点
全连接层: 层与层之间的每个神经元都与前一层的所有神经元相连。权重数量: 由于全连接的特点权重数量较大容易导致计算量大、模型复杂度高。学习能力: 能够学习输入数据的全局特征但对于高维数据却不擅长捕捉局部特征如图像就需要CNN。
3.3.2 计算步骤
数据传递: 输入数据经过每一层的计算逐层传递到输出层。激活函数: 每一层的输出通过激活函数处理。损失计算: 在输出层计算预测值与真实值之间的差距即损失函数值。反向传播Back Propagation: 通过反向传播算法计算损失函数对每个权重的梯度并更新权重以最小化损失。
三、数据处理
数据和加载器 Ecxel表格的数据 图片是数据 文本信息是数据 官方数据集是数据 make_regression模拟的也是数据
四、参数初始化
神经网络的参数初始化是训练深度学习模型的关键步骤之一。初始化参数通常是权重和偏置会对模型的训练速度、收敛性以及最终的性能产生重要影响。下面是关于神经网络参数初始化的一些常见方法及其相关知识点。
官方文档参考https://pytorch.org/docs/stable/nn.init.html
1. 固定值初始化
固定值初始化是指在神经网络训练开始时将所有权重或偏置初始化为一个特定的常数值。这种初始化方法虽然简单但在实际深度学习应用中通常并不推荐。
1.1 全零初始化
将神经网络中的所有权重参数初始化为0。
方法将所有权重初始化为零。
缺点导致对称性破坏每个神经元在每一层中都会执行相同的计算模型无法学习。
应用场景通常不用来初始化权重但可以用来初始化偏置。
代码演示
import torch
import torch.nn as nndef test004():# 3. 全0参数初始化linear nn.Linear(in_features6, out_features4)# 初始化权重参数nn.init.zeros_(linear.weight)# 打印权重参数print(linear.weight)if __name__ __main__:test004()
打印结果
Parameter containing:
tensor([[0., 0., 0., 0., 0., 0.],[0., 0., 0., 0., 0., 0.],[0., 0., 0., 0., 0., 0.],[0., 0., 0., 0., 0., 0.]], requires_gradTrue)1.2 全1初始化
全1初始化会导致网络中每个神经元接收到相同的输入信号进而输出相同的值这就无法进行学习和收敛。所以全1初始化只是一个理论上的初始化方法但在实际神经网络的训练中并不适用。
代码演示
import torch
import torch.nn as nndef test003():# 3. 全1参数初始化linear nn.Linear(in_features6, out_features4)# 初始化权重参数nn.init.ones_(linear.weight)# 打印权重参数print(linear.weight)if __name__ __main__:test003()
输出结果
Parameter containing:
tensor([[1., 1., 1., 1., 1., 1.],[1., 1., 1., 1., 1., 1.],[1., 1., 1., 1., 1., 1.],[1., 1., 1., 1., 1., 1.]], requires_gradTrue)1.3 任意常数初始化
将所有参数初始化为某个非零的常数如 0.1-1 等。虽然不同于全0和全1但这种方法依然不能避免对称性破坏的问题。
import torch
import torch.nn as nndef test002():# 2. 固定值参数初始化linear nn.Linear(in_features6, out_features4)# 初始化权重参数nn.init.constant_(linear.weight, 0.63)# 打印权重参数print(linear.weight)passif __name__ __main__:test002()
输出结果
Parameter containing:
tensor([[0.6300, 0.6300, 0.6300, 0.6300, 0.6300, 0.6300],[0.6300, 0.6300, 0.6300, 0.6300, 0.6300, 0.6300],[0.6300, 0.6300, 0.6300, 0.6300, 0.6300, 0.6300],[0.6300, 0.6300, 0.6300, 0.6300, 0.6300, 0.6300]], requires_gradTrue)参考2
import torch
import torch.nn as nndef test002():net nn.Linear(2, 2, biasTrue)# 假设一个数值x torch.tensor([[0.1, 0.95]])# 初始化权重参数net.weight.data torch.tensor([[0.1, 0.2], [0.3, 0.4]])# 输出什么权重参数会转置output net(x)print(output, net.bias)passif __name__ __main__:test002()
2. 随机初始化
方法将权重初始化为随机的小值通常从正态分布或均匀分布中采样。
应用场景这是最基本的初始化方法通过随机初始化避免对称性破坏。
代码演示随机分布之均匀初始化
import torch
import torch.nn as nndef test001():# 1. 均匀分布随机初始化linear nn.Linear(in_features6, out_features4)# 初始化权重参数nn.init.uniform_(linear.weight)# 打印权重参数print(linear.weight)if __name__ __main__:test001()
打印结果
Parameter containing:
tensor([[0.4080, 0.7444, 0.7616, 0.0565, 0.2589, 0.0562],[0.1485, 0.9544, 0.3323, 0.9802, 0.1847, 0.6254],[0.6256, 0.2047, 0.5049, 0.3547, 0.9279, 0.8045],[0.1994, 0.7670, 0.8306, 0.1364, 0.4395, 0.0412]], requires_gradTrue)代码演示正态分布初始化
import torch
import torch.nn as nndef test005():# 5. 正太分布初始化linear nn.Linear(in_features6, out_features4)# 初始化权重参数nn.init.normal_(linear.weight, mean0, std1)# 打印权重参数print(linear.weight)if __name__ __main__:test005()
打印结果
Parameter containing:
tensor([[ 1.5321, 0.2394, 0.0622, 0.4482, 0.0757, -0.6056],[ 1.0632, 1.8069, 1.1189, 0.2448, 0.8095, -0.3486],[-0.8975, 1.8253, -0.9931, 0.7488, 0.2736, -1.3892],[-0.3752, 0.0500, -0.1723, -0.4370, -1.5334, -0.5393]],requires_gradTrue)3. Xavier 初始化
也叫做Glorot初始化。
方法根据输入和输出神经元的数量来选择权重的初始值。权重从以下分布中采样 W ∼ U ( − 6 n i n n o u t , 6 n i n n o u t ) W\sim\mathrm{U}\left(-\frac{\sqrt{6}}{\sqrt{n_\mathrm{in}n_\mathrm{out}}},\frac{\sqrt{6}}{\sqrt{n_\mathrm{in}n_\mathrm{out}}}\right) W∼U(−ninnout 6 ,ninnout 6 ) 或者 W ∼ N ( 0 , 2 n i n n o u t ) W\sim\mathrm{N}\left(0,\frac{2}{n_\mathrm{in}n_\mathrm{out}}\right) W∼N(0,ninnout2) N ( 0 , std 2 ) N ( 0 , std 2 ) \mathcal{N}(0, \text{std}^2)\mathcal{N}(0, \text{std}^2) N(0,std2)N(0,std2)
其中 n in n_{\text{in}} nin 是当前层的输入神经元数量 n out n_{\text{out}} nout是输出神经元数量。
优点平衡了输入和输出的方差适合 S i g m o i d Sigmoid Sigmoid 和 T a n h Tanh Tanh 激活函数。
应用场景常用于浅层网络或使用 S i g m o i d Sigmoid Sigmoid 、 T a n h Tanh Tanh 激活函数的网络。
代码演示
import torch
import torch.nn as nndef test007():# Xavier初始化正态分布linear nn.Linear(in_features6, out_features4)nn.init.xavier_normal_(linear.weight)print(linear.weight)# Xavier初始化均匀分布linear nn.Linear(in_features6, out_features4)nn.init.xavier_uniform_(linear.weight)print(linear.weight)if __name__ __main__:test007()
打印结果
Parameter containing:
tensor([[-0.4838, 0.4121, -0.3171, -0.2214, -0.8666, -0.4340],[ 0.1059, 0.6740, -0.1025, -0.1006, 0.5757, -0.1117],[ 0.7467, -0.0554, -0.5593, -0.1513, -0.5867, -0.1564],[-0.1058, 0.5266, 0.0243, -0.5646, -0.4982, -0.1844]],requires_gradTrue)
Parameter containing:
tensor([[-0.5263, 0.3455, 0.6449, 0.2807, -0.3698, -0.6890],[ 0.1578, -0.3161, -0.1910, -0.4318, -0.5760, 0.3746],[ 0.2017, -0.6320, -0.4060, 0.3903, 0.3103, -0.5881],[ 0.6212, 0.3077, 0.0783, -0.6187, 0.3109, -0.6060]],requires_gradTrue)4. He初始化
也叫kaiming 初始化。
方法专门为 ReLU 激活函数设计。权重从以下分布中采样 W ∼ N ( 0 , 2 n i n ) W\sim\mathrm{N}\left(0,\frac{2}{n_\mathrm{in}}\right) W∼N(0,nin2) 其中 n in n_{\text{in}} nin 是当前层的输入神经元数量。
优点适用于 R e L U ReLU ReLU 和 L e a k y R e L U Leaky ReLU LeakyReLU 激活函数。
应用场景深度网络尤其是使用 ReLU 激活函数时。
代码演示
import torch
import torch.nn as nndef test006():# He初始化正态分布linear nn.Linear(in_features6, out_features4)nn.init.kaiming_normal_(linear.weight, nonlinearityrelu)print(linear.weight)# He初始化均匀分布linear nn.Linear(in_features6, out_features4)nn.init.kaiming_uniform_(linear.weight, nonlinearityrelu)print(linear.weight)if __name__ __main__:test006()
输出结果
Parameter containing:
tensor([[ 1.4020, 0.2030, 0.3585, -0.7419, 0.6077, 0.0178],[-0.2860, -1.2135, 0.0773, -0.3750, -0.5725, 0.9756],[ 0.2938, -0.6159, -1.1721, 0.2093, 0.4212, 0.9079],[ 0.2050, 0.3866, -0.3129, -0.3009, -0.6659, -0.2261]],requires_gradTrue)Parameter containing:
tensor([[-0.1924, -0.6155, -0.7438, -0.2796, -0.1671, -0.2979],[ 0.7609, 0.9836, -0.0961, 0.7139, -0.8044, -0.3827],[ 0.1416, 0.6636, 0.9539, 0.4735, -0.2384, -0.1330],[ 0.7254, -0.4056, -0.7621, -0.6139, -0.6093, -0.2577]],requires_gradTrue)5. 总结
在使用Torch构建网络模型时每个网络层的参数都有默认的初始化方法同时还可以通过以上方法来对网络参数进行初始化。 文章转载自： http://www.morning.yrqb.cn.gov.cn.yrqb.cn http://www.morning.yhtnr.cn.gov.cn.yhtnr.cn http://www.morning.ryysc.cn.gov.cn.ryysc.cn http://www.morning.plqkz.cn.gov.cn.plqkz.cn http://www.morning.ghslr.cn.gov.cn.ghslr.cn http://www.morning.prmyx.cn.gov.cn.prmyx.cn http://www.morning.ddxjr.cn.gov.cn.ddxjr.cn http://www.morning.qgjxy.cn.gov.cn.qgjxy.cn http://www.morning.cgthq.cn.gov.cn.cgthq.cn http://www.morning.jfjqs.cn.gov.cn.jfjqs.cn http://www.morning.zdsdn.cn.gov.cn.zdsdn.cn http://www.morning.xysdy.cn.gov.cn.xysdy.cn http://www.morning.pfgln.cn.gov.cn.pfgln.cn http://www.morning.kyzja.com.gov.cn.kyzja.com http://www.morning.zxwqt.cn.gov.cn.zxwqt.cn http://www.morning.fyskq.cn.gov.cn.fyskq.cn http://www.morning.frpfk.cn.gov.cn.frpfk.cn http://www.morning.wrcgy.cn.gov.cn.wrcgy.cn http://www.morning.tmzlt.cn.gov.cn.tmzlt.cn http://www.morning.gbkkt.cn.gov.cn.gbkkt.cn http://www.morning.glswq.cn.gov.cn.glswq.cn http://www.morning.qxbsq.cn.gov.cn.qxbsq.cn http://www.morning.sbrxm.cn.gov.cn.sbrxm.cn http://www.morning.dwwlg.cn.gov.cn.dwwlg.cn http://www.morning.llxqj.cn.gov.cn.llxqj.cn http://www.morning.dnls.cn.gov.cn.dnls.cn http://www.morning.glwyn.cn.gov.cn.glwyn.cn http://www.morning.nkwgy.cn.gov.cn.nkwgy.cn http://www.morning.vnuwdy.cn.gov.cn.vnuwdy.cn http://www.morning.mmhaoma.com.gov.cn.mmhaoma.com http://www.morning.zybdj.cn.gov.cn.zybdj.cn http://www.morning.nkrmh.cn.gov.cn.nkrmh.cn http://www.morning.krjyq.cn.gov.cn.krjyq.cn http://www.morning.cfynn.cn.gov.cn.cfynn.cn http://www.morning.dbylp.cn.gov.cn.dbylp.cn http://www.morning.mqfkd.cn.gov.cn.mqfkd.cn http://www.morning.zkqsc.cn.gov.cn.zkqsc.cn http://www.morning.pfjbn.cn.gov.cn.pfjbn.cn http://www.morning.brfxt.cn.gov.cn.brfxt.cn http://www.morning.yzxhk.cn.gov.cn.yzxhk.cn http://www.morning.zztkt.cn.gov.cn.zztkt.cn http://www.morning.wlnr.cn.gov.cn.wlnr.cn http://www.morning.znqxt.cn.gov.cn.znqxt.cn http://www.morning.tmcmj.cn.gov.cn.tmcmj.cn http://www.morning.fgkrh.cn.gov.cn.fgkrh.cn http://www.morning.kxltf.cn.gov.cn.kxltf.cn http://www.morning.gwdnl.cn.gov.cn.gwdnl.cn http://www.morning.xxwfq.cn.gov.cn.xxwfq.cn http://www.morning.hrhwn.cn.gov.cn.hrhwn.cn http://www.morning.kzdwt.cn.gov.cn.kzdwt.cn http://www.morning.ctqbc.cn.gov.cn.ctqbc.cn http://www.morning.kndst.cn.gov.cn.kndst.cn http://www.morning.lmnbp.cn.gov.cn.lmnbp.cn http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn http://www.morning.bmqls.cn.gov.cn.bmqls.cn http://www.morning.lbgsh.cn.gov.cn.lbgsh.cn http://www.morning.yxyyp.cn.gov.cn.yxyyp.cn http://www.morning.rczrq.cn.gov.cn.rczrq.cn http://www.morning.qnkqk.cn.gov.cn.qnkqk.cn http://www.morning.rqjfm.cn.gov.cn.rqjfm.cn http://www.morning.qxkcx.cn.gov.cn.qxkcx.cn http://www.morning.lbcbq.cn.gov.cn.lbcbq.cn http://www.morning.qrksj.cn.gov.cn.qrksj.cn http://www.morning.nbiotank.com.gov.cn.nbiotank.com http://www.morning.prls.cn.gov.cn.prls.cn http://www.morning.cpqqf.cn.gov.cn.cpqqf.cn http://www.morning.tnwgc.cn.gov.cn.tnwgc.cn http://www.morning.wjhnx.cn.gov.cn.wjhnx.cn http://www.morning.ftmly.cn.gov.cn.ftmly.cn http://www.morning.ljpqy.cn.gov.cn.ljpqy.cn http://www.morning.lbpfl.cn.gov.cn.lbpfl.cn http://www.morning.ywndg.cn.gov.cn.ywndg.cn http://www.morning.lndongguan.com.gov.cn.lndongguan.com http://www.morning.smygl.cn.gov.cn.smygl.cn http://www.morning.yrycb.cn.gov.cn.yrycb.cn http://www.morning.hcrxn.cn.gov.cn.hcrxn.cn http://www.morning.knzdt.cn.gov.cn.knzdt.cn http://www.morning.pjwfs.cn.gov.cn.pjwfs.cn http://www.morning.fdrb.cn.gov.cn.fdrb.cn http://www.morning.ktbjk.cn.gov.cn.ktbjk.cn
