当前位置: 首页 > news >正文

网站站内logo怎么做上海公司变更联贝财务优势

网站站内logo怎么做,上海公司变更联贝财务优势,导购网站模板免费下载,石青网站推广软件在深度学习中#xff0c;批量归一化#xff08;Batch Normalization#xff0c;BN#xff09;技术是一种重要的优化方法#xff0c;它可以有效地改善模型的训练效果。本文将详细讨论批量归一化的原理、实现方式、在神经网络中的应用#xff0c;以及如何选择合适的损失函数… 在深度学习中批量归一化Batch NormalizationBN技术是一种重要的优化方法它可以有效地改善模型的训练效果。本文将详细讨论批量归一化的原理、实现方式、在神经网络中的应用以及如何选择合适的损失函数来提高模型的训练效果同时对均方误差和交叉熵两种常见的损失函数进行比较。 一、批量归一化的原理 在深度学习中误差表面的崎岖不平会使训练变得困难。批量归一化的想法就是通过改变误差表面的地貌“把山铲平”让训练变得更容易。 具体来说当输入特征在不同维度上的数值范围差距很大时可能会导致误差表面在不同方向上的斜率差异很大从而使训练变得困难。为了解决这个问题可以对特征进行归一化使不同维度的数值具有相同的数值范围。 例如可以使用 Z 值归一化标准化的方法对每个维度的数值计算平均值和标准差然后将该维度的数值减去平均值并除以标准差得到归一化后的数值。这样可以使归一化后的数值分布在 0 上下方差为 1从而制造一个更好的误差表面使训练更顺利。 二、批量归一化的实现方式 在深度学习中批量归一化的实现方式如下 对输入的特征进行归一化得到归一化后的特征˜x。将˜x 输入到深度网络中经过第一层得到 z^1然后通过激活函数得到 a^1接着再通过下一层以此类推。对中间层的特征 z 进行归一化具体步骤如下 计算 z^1, z^2, z^3 的平均值 μ 和标准差 σ。根据计算出的 μ 和 σ 进行归一化。最后加上 β 和 γ 进行调整其中代表逐元素的相乘β 和 γ 是需要学习的参数。 在实际实现中批量归一化只对一个批量内的数据进行归一化以近似整个数据集的特征归一化。同时在测试时PyTorch 会对训练时每个批量计算出的 μ 和 σ 进行移动平均测试时直接用训练时的移动平均来取代 μ 和 σ。 三、批量归一化在神经网络中的应用 批量归一化可以应用于神经网络的各个层它可以使误差表面变得更加平滑从而提高训练的稳定性和收敛速度。 通过对特征进行归一化可以减少不同维度之间的差异使得网络更容易学习到有用的特征。此外批量归一化还可以缓解梯度消失和梯度爆炸的问题使训练更加稳定。 四、如何选择合适的损失函数来提高模型的训练效果         选择合适的损失函数对于提高模型的训练效果至关重要。不同的损失函数适用于不同的问题和模型。 在分类问题中常用的损失函数有均方误差和交叉熵。均方误差是将输出与标签之间的差异平方后求和而交叉熵则是根据输出与标签之间的概率分布来计算损失。 交叉熵损失函数通常比均方误差更常用在分类上因为它能够更好地引导模型的训练。当输出与标签相同时交叉熵可以最小化交叉熵的值此时均方误差也是最小的。此外交叉熵还能够使大的值跟小的值的差距更大从而更好地优化模型。 五、均方误差和交叉熵两种常见的损失函数的比较 通过一个三类分类的例子可以比较均方误差和交叉熵在优化中的表现。 假设网络先输出和通过 softmax 以后产生和。假设正确答案是要计算跟和之间的距离 ee 可以是均方误差或交叉熵。 当很大很小时代表会很接近 1会很接近 0此时不管 e 取均方误差或交叉熵损失都是小的当小大时是 0是 1这个时候损失会比较大。 在优化过程中如果选择交叉熵左上角圆圈所在的点有斜率可以通过梯度一路往右下的地方 “走”如果选均方误差左上角圆圈就卡住了均方误差在这种损失很大的地方非常平坦梯度非常小趋近于 0无法用梯度下降顺利地 “走” 到右下角。因此在做分类时选均方误差的时候如果没有好的优化器有非常大的可能性会训练不起来。如果用 Adam虽然图中圆圈的梯度很小但 Adam 会自动调大学习率还有机会走到右下角不过训练的过程比较困难。
http://www.tj-hxxt.cn/news/230204.html

相关文章:

  • 西青集团网站建设新手学做网站推荐软件
  • 黄冈做网站技术支持的佛山市企业网站建设报价
  • 有哪些做的好的自学网站马家堡网站建设
  • 网站文章分类短网址生成方法
  • 做英文企业网站多钱钱织梦微电影分享网站织梦整站源码
  • 哪些外贸网站比较好帝国cms建站系统
  • 砀山做网站网站建设有哪些软件有哪些内容
  • 做ppt的模板网站wordpress博客后台
  • 做油漆的网站wordpress调整侧边栏的高度
  • 做网站需要多久中美今天最新消息
  • 洛阳制作网站的公司历史建筑信息平台
  • 网站js幻灯片代码网站关键词排名如何做
  • 质控中心网站建设申请建立免费网站的步骤
  • 温州网站开发技术简单网页设计html代码
  • 静态网站和伪静态seo二手网站建设模块
  • 网站商城建站网站用什么域名
  • 计算机网站建设名称牡丹江在哪个城市
  • 揭阳做网站的简述你身边的网络营销事件
  • 网站开发简历的项目经验怎么建立自己公司的网站
  • 恢复被百度k网站 关键词收录html5门户网站模版
  • 卢沟桥做网站的公司福州网站设计知名乐云seo
  • 中小网站建设都有哪些宿迁市网站建设
  • 微信 网站 优劣势珠海市网站建设开发公司
  • 用旧手机做网站做的网站有广告图片
  • 首次做淘宝客网站要安装程序吗电子工程网络通信的专业课
  • 企业网站建设参考文献wordpress5.2自动保存
  • 在线教育网站源码无限次数视频app软件ios
  • 湖南奉天建设集团网站上海百度
  • 丹东做网站公司室内设计软件自己设计
  • 网站自做书本seo公司上海