wordpress中文版书籍,成都seo外包,门户网站建设的企业,wordpress的伪静态目录
一、深度学习
1、什么是深度学习
2、特点
3、神经网络构造
1#xff09;单层神经元
• 推导
• 示例
2#xff09;多层神经网络
3#xff09;小结
4、感知器
神经网络的本质
5、多层感知器
6、动态图像示例
1#xff09;一个神经元
相当于下列状态单层神经元
• 推导
• 示例
2多层神经网络
3小结
4、感知器
神经网络的本质
5、多层感知器
6、动态图像示例
1一个神经元
相当于下列状态
2两个神经元
相当于下列所示
3三个神经元
相当于下图所示
7、多层感知器--偏置
8、神经网络构造
1重点
2如何构造中间层
二、损失函数
1、作用
2、模型训练目的
3、常用损失函数
4、具体做法
5、多分类情况下计算损失值
6、正则化惩罚
1正则化惩罚的功能
2L1正则化
公式为
3L2正则化
公式为
4示例 一、深度学习
1、什么是深度学习 深度学习是一种人工智能的子领域它基于人工神经网络的概念和结构通过模拟人脑的工作方式来进行机器学习。 2、特点 深度学习的主要特点是使用多层次的神经网络来提取和学习数据中的特征并通过反向传播算法来优化网络参数从而实现对复杂数据的建模与分类。深度学习在图像识别、语音识别、自然语言处理等领域取得了显著的成果并被广泛应用于各种领域。 3、神经网络构造 神经网络是一种由多个神经元或称为节点组成的计算模型它模拟了生物神经系统中神经元之间的连接方式。神经网络有输入层、隐藏层和输出层组成其中输入层用于接收外界的输入信号输出层用于输出预测结果隐藏层则用于处理输入信号并产生中间结果。 1单层神经元
例如下图所示 神经元1为输入层而外部传入的x1、x2、x3、x4、x5、……全部都是外界即将传入神经元的电信号这些电信号在传入途中可能会有所损耗而损耗完剩下的才会传入神经元这些传入的实际信号就用w1x1、w2x2、w3x3、w4x4、w5x5、……来表示w叫做权重。 • 推导 有下列一堆数据存在一条直线将他们分开成两类而这条线叫线的表达式可以表示为ykxb 将这个线性回归模型的表达式改变一下就得到了我们的神经网络模型计算方式 ykxb - 0kxb-y - k1xk2yb0 - w1x1w2x2b0 - w1x1w2x21*w00 这里的1为人为设定的偏执项 • 示例 如图传入信号为x1x2x3他们分别通过权重w改变以后得到w1x1w2x2w3x3然后再将这个结果映射到非线性函数上这个非线性函数大多数用的都是sigmoid函数从而得到最终结果用sigmoid函数的原因是为了完成逻辑回归因为 上图的模型为线性模型他不能进行逻辑回归所以只能将其映射到sigmoid函数中使其转变为逻辑回归 sigmoid函数图像 2多层神经网络 如图所示第一列的五个圆圈叫输入层最后一列的三个圆圈叫输出层神经元则在中间三列每一个神经元的运行方式和上述单层网络一样如下图所示上图的5个信号乘以权重的结果求和然后再对求和的值映射到sigmoid函数然后第一个神经元接收到这样的信息然后第一列的每一个神经元都需要得到所有信号的处理最后再将这通过映射得到的五个值当做信号x再次计算权重求和映射传给下一个神经元传送到最后到输出层得到结果。(这里的为初期的神经网络构架 3小结 神经网络是由大量的节点或称“神经元”和之间相互的联接构成。 每个节点代表一种特定的输出函数称为激励函数、激活函数activation function。就相当于下图的红框内的函数 每两个节点间的联接都代表一个对于通过该连接信号的加权值称之为权重这相当于人工神经网络的记忆。相当于下列红框内的线条及其上所对应的w 4、感知器 由两层神经元组成的神经网络 -- “感知器”Perceptron, 感知器只能线性划分数据。 因为上述公式是线性代数方程组因此可以用矩阵乘法来表达这两个公式 输出公式表达 输出的结果与训练集标签进行损失函数计算与逻辑回归基本一致。 神经网络的本质 通过参数与激活函数来拟合特征与目标之间的真实函数关系。但在一个神经网络的程序中不需要神经元和线本质上是矩阵的运算实现一个神经网络最需要的是线性代数库。 5、多层感知器 相对于上述感知器多层感知器则增加了一个中间层即隐含层神经网络可以做非线性分类的关键--隐含层。 而矩阵的相乘也略微做了增加如下所示 6、动态图像示例
1一个神经元 图中的线型为模型动态表示正在训练 相当于下列状态 一个输入层一个输出层一个神经元 2两个神经元 同样是一条线的形态去分类 相当于下列所示 一个输入层一个输出层两个神经元 3三个神经元 相当于下图所示 一个输入层一个输出层三个神经元 如需增加一个结果则只需在输出层增加一个神经元即可。 7、多层感知器--偏置 在神经网络中需要默认增加偏置神经元节点这些节点是默认存在的。 它本质上是一个只含有存储功能且存储值永远为1的单元。 在神经网络的每个层次中除了输出层以外都会含有这样一个偏置单元。 偏置节点没有输入前一层中没有箭头指向它。 一般情况下我们都不会明确画出偏置节点。 8、神经网络构造 1重点 • 设计一个神经网络时输入层与输出层的节点数往往是固定的中间层则可以自由指定 • 神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向跟训练时的数据流有一定的区别 • 结构图里的关键不是圆圈代表“神经元”而是连接线代表“神经元”之间的连接。每个连接线对应一个不同的权重其值称为权值这是需要训练得到的。 2如何构造中间层 • 输入层的节点数与特征的维度匹配 • 输出层的节点数与目标的维度匹配。 • 中间层的节点数目前业界没有完善的理论来指导这个决策。一般是根据经验来设置。较好的方法就是预先设定几个可选值通过切换这几个值来看整个模型的预测效果选择效果最好的值作为最终选择。 二、损失函数
1、作用 它用于量化模型预测值与真实标签之间的差异并指导模型的优化过程。
2、模型训练目的 使得参数尽可能的与真实的模型逼近。
3、常用损失函数 0-1损失函数、均方差损失、平均绝对差损失、交叉熵损失、合页损失
4、具体做法 1首先给所有参数w赋上随机值。我们使用这些随机生成的参数值来预测训练数据中的样本当预测结果与真实值差距大则需要去调整w的值来使其接近真实值 2计算预测值为yi真实值为y。那么定义一个损失值loss损失值用于判断预测的结果和真实值的误差误差越小越好。 例如有下列一堆数据其中包含训练集和测试集训练集和测试集又被分为训练特征集和训练标签以及测试特征集和测试标签而这里的标签集则表示真实值将特征集作为输入信号放入输入层对其进行训练最后得到训练结果 训练结果叫预测值然后再将预测值与真实值作比较。 使用均方差损失函数计算损失值 有上述得到预测值后对真实值与预测值作差然后做平方计算每一条数据的差值平方加起来然后再除以数据的条数即可得到损失值。 对于均方差损失函数当标签是连续型的值或者回归类型的值时很适用但是当数据是离散型的那么使用它将效果差。 5、多分类情况下计算损失值 分类的情况下一般使用softmax交叉熵损失函数。 公式 完整流程 例如输出端输入的是猫、狗、羊分别代号为0,1,2输入端为一张图片利用模型来判断这张图片中的动物是这三种动物的哪一种输入一张图后得到三条数据分别表示猫、狗、羊的值然后将这三个值使用e的次方进行放大以此来拉开差距然后对放大后的数据进行归一化得到各个结果的概率然后此时如果图片真实为猫的照片那么第一行所表示的则为猫的概率然后对这三个概率求负对数的值这个负对数的值就是交叉熵损失值。 log与-log图像如下图所示 如果传入猫照片猫的神经元输出数值相比其他越大 计算的损失值会越小也表明越靠近真实结果。 如果训练时类别分错了则会出现大的损失值。 6、正则化惩罚 正则化惩罚用于避免模型过拟合到训练数据从而提高模型的泛化能力。正则化惩罚通过在目标函数中引入一个正则化项以限制模型参数的大小或复杂度。 1正则化惩罚的功能 主要用于惩罚权重参数w一般有L1和L2正则化。 2L1正则化 L1正则化通过在目标函数中加入参数的L1范数绝对值之和使得模型更倾向于产生稀疏的权重矩阵即将一部分参数置为0从而减少模型的复杂度。这可以帮助筛选出对模型影响较大的特征提高模型的鲁棒性和可解释性。 公式为 L1 ∑ |w| w为权重参数 3L2正则化 L2正则化通过在目标函数中加入参数的L2范数平方和的开方使得模型更倾向于产生较小的权重值。这可以有效地控制模型参数的大小避免出现过大的参数值从而减少模型对训练数据的过拟合。 公式为 L2 1/2 *w**2 w为权重参数 4示例 有如下模型 当输入为 x [ 1,1,1,1 ] 现有两种不同权重值如下所示 w1 [ 1,0,0,0 ] w2 [ 0.25,0.25,0.25,0.25 ] w1和w2与输入的乘积都为1但w2 与每一个输入数据进行计算后都有数据使得w2会学习到每一个特征信息。而w1只和第1个输入信息有关系容易出现过拟合现象因此w2的效果会比w1 好。 此时就使用均方差损失函数来计算损失值更合适因为它适用于连续型的值
此时的公式与上述略有不同即增加了一个正则化惩罚项 当使用L1正则化时即增加一个λ*L1 当使用L2正则化时即增加一个λ*L2 文章转载自： http://www.morning.jbmsp.cn.gov.cn.jbmsp.cn http://www.morning.gbhsz.cn.gov.cn.gbhsz.cn http://www.morning.jkcnq.cn.gov.cn.jkcnq.cn http://www.morning.mrgby.cn.gov.cn.mrgby.cn http://www.morning.lmyq.cn.gov.cn.lmyq.cn http://www.morning.jrsgs.cn.gov.cn.jrsgs.cn http://www.morning.qrwdg.cn.gov.cn.qrwdg.cn http://www.morning.cniedu.com.gov.cn.cniedu.com http://www.morning.yfpnl.cn.gov.cn.yfpnl.cn http://www.morning.myfwb.cn.gov.cn.myfwb.cn http://www.morning.bwkhp.cn.gov.cn.bwkhp.cn http://www.morning.yrpd.cn.gov.cn.yrpd.cn http://www.morning.ranglue.com.gov.cn.ranglue.com http://www.morning.bxqry.cn.gov.cn.bxqry.cn http://www.morning.jycr.cn.gov.cn.jycr.cn http://www.morning.pkmw.cn.gov.cn.pkmw.cn http://www.morning.hfytgp.cn.gov.cn.hfytgp.cn http://www.morning.hfytgp.cn.gov.cn.hfytgp.cn http://www.morning.zdbfl.cn.gov.cn.zdbfl.cn http://www.morning.xhgxd.cn.gov.cn.xhgxd.cn http://www.morning.tcxzn.cn.gov.cn.tcxzn.cn http://www.morning.fjfjm.cn.gov.cn.fjfjm.cn http://www.morning.jbxfm.cn.gov.cn.jbxfm.cn http://www.morning.sxfnf.cn.gov.cn.sxfnf.cn http://www.morning.hongjp.com.gov.cn.hongjp.com http://www.morning.wcgcm.cn.gov.cn.wcgcm.cn http://www.morning.hjjkz.cn.gov.cn.hjjkz.cn http://www.morning.tlpsd.cn.gov.cn.tlpsd.cn http://www.morning.wtnyg.cn.gov.cn.wtnyg.cn http://www.morning.dxrbp.cn.gov.cn.dxrbp.cn http://www.morning.rnrfs.cn.gov.cn.rnrfs.cn http://www.morning.stfdh.cn.gov.cn.stfdh.cn http://www.morning.plcyq.cn.gov.cn.plcyq.cn http://www.morning.grwgw.cn.gov.cn.grwgw.cn http://www.morning.ksqzd.cn.gov.cn.ksqzd.cn http://www.morning.hrpmt.cn.gov.cn.hrpmt.cn http://www.morning.kwz6232.cn.gov.cn.kwz6232.cn http://www.morning.sdktr.com.gov.cn.sdktr.com http://www.morning.lkhfm.cn.gov.cn.lkhfm.cn http://www.morning.bqmsm.cn.gov.cn.bqmsm.cn http://www.morning.rahllp.com.gov.cn.rahllp.com http://www.morning.jtkfm.cn.gov.cn.jtkfm.cn http://www.morning.kmbgl.cn.gov.cn.kmbgl.cn http://www.morning.bnqcm.cn.gov.cn.bnqcm.cn http://www.morning.dpqwq.cn.gov.cn.dpqwq.cn http://www.morning.gkmwk.cn.gov.cn.gkmwk.cn http://www.morning.lkmks.cn.gov.cn.lkmks.cn http://www.morning.sbrrf.cn.gov.cn.sbrrf.cn http://www.morning.gfjgq.cn.gov.cn.gfjgq.cn http://www.morning.frnjm.cn.gov.cn.frnjm.cn http://www.morning.rzdpd.cn.gov.cn.rzdpd.cn http://www.morning.qkxt.cn.gov.cn.qkxt.cn http://www.morning.gxcym.cn.gov.cn.gxcym.cn http://www.morning.xzrbd.cn.gov.cn.xzrbd.cn http://www.morning.djpps.cn.gov.cn.djpps.cn http://www.morning.dlwzm.cn.gov.cn.dlwzm.cn http://www.morning.ylyzk.cn.gov.cn.ylyzk.cn http://www.morning.mqpdl.cn.gov.cn.mqpdl.cn http://www.morning.rszyf.cn.gov.cn.rszyf.cn http://www.morning.fnfhs.cn.gov.cn.fnfhs.cn http://www.morning.kpgbz.cn.gov.cn.kpgbz.cn http://www.morning.hmmtx.cn.gov.cn.hmmtx.cn http://www.morning.lfsmf.cn.gov.cn.lfsmf.cn http://www.morning.wgbmj.cn.gov.cn.wgbmj.cn http://www.morning.djgrg.cn.gov.cn.djgrg.cn http://www.morning.gqryh.cn.gov.cn.gqryh.cn http://www.morning.mkyny.cn.gov.cn.mkyny.cn http://www.morning.mrgby.cn.gov.cn.mrgby.cn http://www.morning.nhrkc.cn.gov.cn.nhrkc.cn http://www.morning.rnzjc.cn.gov.cn.rnzjc.cn http://www.morning.htfnz.cn.gov.cn.htfnz.cn http://www.morning.pfntr.cn.gov.cn.pfntr.cn http://www.morning.kgphc.cn.gov.cn.kgphc.cn http://www.morning.hpkr.cn.gov.cn.hpkr.cn http://www.morning.dbfj.cn.gov.cn.dbfj.cn http://www.morning.pgmbl.cn.gov.cn.pgmbl.cn http://www.morning.rmyqj.cn.gov.cn.rmyqj.cn http://www.morning.hfnbr.cn.gov.cn.hfnbr.cn http://www.morning.cbmqq.cn.gov.cn.cbmqq.cn http://www.morning.srjbs.cn.gov.cn.srjbs.cn
