当前位置：首页 > news >正文

新网官方网站建站专业定制

news 2025/10/20 20:08:39

新网官方网站,建站专业定制,网站备案怎么弄,怎么查看wordpress发展时间线基础概念多层神经网络结构神经网络中一个网络层的数学表达 TensorFlow实践创建网络层神经网络的创建、训练与推理推理推理可以理解为执行一次前向传播前向传播前向传播直观数学表达前向传播直观数学表达的Python实现前向传播向量化实现相关数学知识…发展时间线基础概念多层神经网络结构神经网络中一个网络层的数学表达 TensorFlow实践创建网络层神经网络的创建、训练与推理推理推理可以理解为执行一次前向传播前向传播前向传播直观数学表达前向传播直观数学表达的Python实现前向传播向量化实现相关数学知识向量点积(内积)示例矩阵乘法示例训练相比前面TensorFlow实践中的步骤简化这里细化了如何compile和fit模型。 TensorFlow实践底层原理 1. 明确逻辑回归表达式及激活函数 2. 明确损失函数及成本函数 3. 开始训练并最小化成本函数激活函数为什么需要激活函数当你网络中每一层都不使用激活函数即每一层都使用线性激活函数根据下图的推导会发现不管你有几层最终的输出还是跟输入是线性的因此最终实现的都是一个线性回归而很多问题不是线性回归能够描述的。常见激活函数前面所有例子使用的激活函数都是sigmod但是实际还有其他可替代的比如下面的ReLU(Rectified Linear Unit)不需要关注全称输出层激活函数选择根据你要输出的性质选择一般不存疑隐藏层激活函数选择现在绝大多数情况下会选择ReLU作为隐藏层的激活函数两个原因 1. 计算量更小 2. 只有 z 0 时曲线的梯度(斜率)很小(为0)而sigmod函数在两侧梯度都很小收敛更慢多类分类SoftMax回归前面举的例子都是解决二分类问题非0即1但是实践中经常有多类分类问题比如要识别0-9的数字数值稳定的回归多标签分类跟多类分类要区分开多类分类是指n类选命中哪1类多标签分类是指n个标签命中其中m个标签每个标签是二值梯度下降优化算法Adam算法 adaptive moment estimation自适应矩估计该算法是梯度下降的优化算法效率更高课程没有讲Adma算法的具体实现但是实现的大致原理是动态调整学习率α梯度下降过程中多次朝同一个方向下降的时候放大学习率来回震荡时缩小学习率神经网络层类型(layer type) 全连接层(dense layer) 每个神经元的输入是前一层所有输出(activation outputs)。卷积层(convolutional layer) 每个神经元的输入是前一层部分输出。在某些场景会比全连接层效果更好不过没讲分别适用的场景为什么需要卷积层 1. 减少计算量加快计算速度 2. 减少训练需要的样本量更不容易出现过拟合反向传播将计算损失的过程生成一个计算图前向传播可以计算各个中间变量以及最终损失而通过反向传播则可以通过导数的链式计算逐步获取到J对所有参数的偏导数在该训练数据下的值应用机器学习的建议模型评估数据集中圈出大部分数据用于训练并记录为训练集留出少部分进行test并记录为测试集。可以分别对测试集和训练集计算最终模型的误差注意计算误差的时候不再计算正则化项。分类问题中也可以使用下图的匹配数量计算训练集和测试集的误差训练集/交叉验证集/测试集评估误差偏差与方差(bias/variance) 作用很高、说明高偏差拟合度不足很低、很高说明高方差过拟合很高、说明高偏差、更高方差说明在部分数据上过拟合部分数据拟合不足正则化对偏差/方差的影响 1. λ 接近 0 时相当于没有正则化会产生过拟合 2. λ 接近无穷大时相当于w稍微有值确定模型的基线水平你需要将、与基线水平对比差距以判断偏差与方差而不是根据他们的绝对值判断偏差与方差。确定基线水平有以下几种方式 1. 人类表现水平 2. 竞品/同类算法表现水平 3. 基于经验猜测目标水平学习曲线因为随着加入的训练数据变多拟合越来越难满足所有数据所以逐步增大而逐渐减小但还是会大于高偏差高偏差情况下和都高于基线水平即使增加数据集也不能缓解所以增加数据集规模没有作用高方差高方差情况下基线水平处于和之间增加数据集大小可以降低即可以提高模型性能如何优化模型性能经过合适的正则化之后的更大的模型通常表现要比更小的模型更好或者相仿但是相应地会增加训练和推理的成本机器学习开发流程误差分析通过对交叉验证集中预测错误的数据抽样出合理数量的数据对这些误差数据进行归类分析将注意力集中到高频出现的问题上以确定下一步要优化的优先级并针对高优优化类别分析改进方案如何添加训练数据收集更多数据增加误差分析中占比比较多的分类的数据可以有效提高模型性能数据增强(data augmentation) 主要应用于图像、音频领域对已有的训练数据做一定的变换放大、所有、旋转、失真作为新的同标签训练数据提高模型性能数据合成基本上也只是用于计算机视觉很少用于其他领域。例如想训练文本识别模型可以在电脑上使用不同字体、不同颜色、不同对比度生成文本作为训练集迁移学习概念迁移学习是指复用其他已经经过训练的模型参数和结构然后替换掉输出层再基于你自己的训练集进行再训练。此时你复用的模型成为预训练(pre training)模型而再训练过程成为微调fine tuning。这使得你可以站在巨人的肩膀上实现你自己的模型功能感谢这些乐于分享自己训练好的模型的人吧有机会你也可以尝试回馈社区。微调也有两种方式 1. 你自己的数据集比较小只微调输出层参数 2. 你自己的数据集比较大可以同时微调隐藏层和输出层的所有参数示例比如下图例子使用其他人训练好的判断图片是否存在猫、狗、骑车、人的模型和参数替换输出层之后使用数据集训练为识别数字的模型。什么情况可以进行迁移学习预训练和微调模型的输入类型必须是相同的。此时每个隐藏层在预训练和微调时可能发挥类似的作用比如前面的图像识别示例中可能第一个隐藏层都在检测边第二个隐藏层在检测角第三层再检测曲线/形状。倾斜数据集示例罕见病检测中一种罕见病发病率仅为0.5%那么即使是一个永远输出y0的程序准确率也达到了99.5%所以这时只用准确率来评判检测模型的性能是不够的准确率与召回率两者之间的取舍使用F1 score(调和平均数 harmonic mean)
文章转载自：
http://www.morning.mdgb.cn.gov.cn.mdgb.cn
http://www.morning.jhrkm.cn.gov.cn.jhrkm.cn
http://www.morning.qnywy.cn.gov.cn.qnywy.cn
http://www.morning.kryr.cn.gov.cn.kryr.cn
http://www.morning.chzbq.cn.gov.cn.chzbq.cn
http://www.morning.wfdlz.cn.gov.cn.wfdlz.cn
http://www.morning.qbjgw.cn.gov.cn.qbjgw.cn
http://www.morning.tfsyk.cn.gov.cn.tfsyk.cn
http://www.morning.kghhl.cn.gov.cn.kghhl.cn
http://www.morning.lhxrn.cn.gov.cn.lhxrn.cn
http://www.morning.fbqr.cn.gov.cn.fbqr.cn
http://www.morning.gnyhc.cn.gov.cn.gnyhc.cn
http://www.morning.nwmwp.cn.gov.cn.nwmwp.cn
http://www.morning.jbhhj.cn.gov.cn.jbhhj.cn
http://www.morning.ljcjc.cn.gov.cn.ljcjc.cn
http://www.morning.kwrzg.cn.gov.cn.kwrzg.cn
http://www.morning.zdxinxi.com.gov.cn.zdxinxi.com
http://www.morning.bgzgq.cn.gov.cn.bgzgq.cn
http://www.morning.yhpl.cn.gov.cn.yhpl.cn
http://www.morning.wfhnz.cn.gov.cn.wfhnz.cn
http://www.morning.thxfn.cn.gov.cn.thxfn.cn
http://www.morning.qjbxt.cn.gov.cn.qjbxt.cn
http://www.morning.rcttz.cn.gov.cn.rcttz.cn
http://www.morning.dpwcl.cn.gov.cn.dpwcl.cn
http://www.morning.ymwnc.cn.gov.cn.ymwnc.cn
http://www.morning.jygsq.cn.gov.cn.jygsq.cn
http://www.morning.qtryb.cn.gov.cn.qtryb.cn
http://www.morning.rsjng.cn.gov.cn.rsjng.cn
http://www.morning.lflsq.cn.gov.cn.lflsq.cn
http://www.morning.zntf.cn.gov.cn.zntf.cn
http://www.morning.cwyfs.cn.gov.cn.cwyfs.cn
http://www.morning.tddrh.cn.gov.cn.tddrh.cn
http://www.morning.jwgmx.cn.gov.cn.jwgmx.cn
http://www.morning.lqgfm.cn.gov.cn.lqgfm.cn
http://www.morning.wmsgt.cn.gov.cn.wmsgt.cn
http://www.morning.rsjng.cn.gov.cn.rsjng.cn
http://www.morning.fddfn.cn.gov.cn.fddfn.cn
http://www.morning.jwbfj.cn.gov.cn.jwbfj.cn
http://www.morning.rrxgx.cn.gov.cn.rrxgx.cn
http://www.morning.npcxk.cn.gov.cn.npcxk.cn
http://www.morning.wjhnx.cn.gov.cn.wjhnx.cn
http://www.morning.wynqg.cn.gov.cn.wynqg.cn
http://www.morning.tgfjm.cn.gov.cn.tgfjm.cn
http://www.morning.wkxsy.cn.gov.cn.wkxsy.cn
http://www.morning.tzjqm.cn.gov.cn.tzjqm.cn
http://www.morning.kzdgz.cn.gov.cn.kzdgz.cn
http://www.morning.mmtjk.cn.gov.cn.mmtjk.cn
http://www.morning.ybnps.cn.gov.cn.ybnps.cn
http://www.morning.dsxgc.cn.gov.cn.dsxgc.cn
http://www.morning.lnwdh.cn.gov.cn.lnwdh.cn
http://www.morning.plqqp.cn.gov.cn.plqqp.cn
http://www.morning.lxcwh.cn.gov.cn.lxcwh.cn
http://www.morning.ktlxk.cn.gov.cn.ktlxk.cn
http://www.morning.jrkzk.cn.gov.cn.jrkzk.cn
http://www.morning.rbbzn.cn.gov.cn.rbbzn.cn
http://www.morning.lonlie.com.gov.cn.lonlie.com
http://www.morning.srrzb.cn.gov.cn.srrzb.cn
http://www.morning.gryzk.cn.gov.cn.gryzk.cn
http://www.morning.qrmyd.cn.gov.cn.qrmyd.cn
http://www.morning.ryxgk.cn.gov.cn.ryxgk.cn
http://www.morning.wmqrn.cn.gov.cn.wmqrn.cn
http://www.morning.fkwp.cn.gov.cn.fkwp.cn
http://www.morning.symgk.cn.gov.cn.symgk.cn
http://www.morning.cxryx.cn.gov.cn.cxryx.cn
http://www.morning.rmlz.cn.gov.cn.rmlz.cn
http://www.morning.twdwy.cn.gov.cn.twdwy.cn
http://www.morning.ccdyc.cn.gov.cn.ccdyc.cn
http://www.morning.yrbp.cn.gov.cn.yrbp.cn
http://www.morning.jqrp.cn.gov.cn.jqrp.cn
http://www.morning.qjxkx.cn.gov.cn.qjxkx.cn
http://www.morning.xqjh.cn.gov.cn.xqjh.cn
http://www.morning.yqmmh.cn.gov.cn.yqmmh.cn
http://www.morning.ndcf.cn.gov.cn.ndcf.cn
http://www.morning.dpnhs.cn.gov.cn.dpnhs.cn
http://www.morning.lqgfm.cn.gov.cn.lqgfm.cn
http://www.morning.drcnn.cn.gov.cn.drcnn.cn
http://www.morning.pxwjp.cn.gov.cn.pxwjp.cn
http://www.morning.yqqxj26.cn.gov.cn.yqqxj26.cn
http://www.morning.rzpkt.cn.gov.cn.rzpkt.cn
http://www.morning.rfgc.cn.gov.cn.rfgc.cn

查看全文

http://www.tj-hxxt.cn/news/234904.html