衡水哪里可以做网站,什么域名不用备案,广州工商注册官网,国内域名有哪些我们今天介绍一下神经网络中的归一化方法~ 之前学到的机器学习中的归一化是将数据缩放到特定范围内#xff0c;以消除不同特征之间的量纲和取值范围差异。通过将原始数据缩放到一个特定的范围内#xff0c;比如[0,1]或者[-1,1]#xff0c;来消除不同特征之间的量纲和取值范围…
我们今天介绍一下神经网络中的归一化方法~ 之前学到的机器学习中的归一化是将数据缩放到特定范围内以消除不同特征之间的量纲和取值范围差异。通过将原始数据缩放到一个特定的范围内比如[0,1]或者[-1,1]来消除不同特征之间的量纲和取值范围的差异。这样做的好处包括降低数据的量纲差异避免某些特征由于数值过大而对模型产生不成比例的影响以及防止梯度爆炸或过拟合等问题。 神经网络中的归一化用于加速和稳定学习过程避免梯度问题。
神经网络的学习其实在学习数据的分布随着网络的深度增加、网络复杂度增加一般流经网络的数据都是一个 mini batch每个 mini batch 之间的数据分布变化非常剧烈这就使得网络参数频繁的进行大的调整以适应流经网络的不同分布的数据给模型训练带来非常大的不稳定性使得模型难以收敛。
如果我们对每一个 mini batch 的数据进行标准化之后强制使输入分布保持稳定从而可以加快网络的学习速度并提高模型的泛化能力。参数的梯度变化也变得稳定有助于加快模型的收敛。
机器学习中的正则化分为L1和L2正则化sklearn库中的Lasso类和Ridge类来实现L1正则化和L2正则化的线性回归模型。通过调整alpha参数可以控制正则化的强度。
import numpy as np
from sklearn.linear_model import Lasso
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error# 生成模拟数据集
X, y make_regression(n_samples100, n_features2, noise0.1)# 划分训练集和测试集
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42)# 创建Lasso回归模型并设置alpha参数为0.1正则化强度
lasso Lasso(alpha0.1)# 拟合模型
lasso.fit(X_train, y_train)# 预测测试集数据
y_pred lasso.predict(X_test)# 计算均方误差
mse mean_squared_error(y_test, y_pred)
print(Mean Squared Error:, mse) Ridge回归模型fit方法的作用是使用提供的输入特征矩阵X_train和对应的目标值y_train来训练模型即确定模型的权重参数。这个过程涉及到最小化一个包含L2正则化项的损失函数以找到最佳的参数值使得模型在训练集上的表现最优同时通过正则化避免过拟合。 在模型拟合完成后可以使用predict方法来进行预测。这个方法将使用fit方法中学到的参数来对新的输入数据X_test进行预测输出预测结果y_pred。因此fit方法本身并不直接产生预测结果而是为后续的预测准备了必要的模型参数。 批量归一化公式 λ 和 β 是可学习的参数它相当于对标准化后的值做了一个线性变换λ 为系数β 为偏置eps 通常指为 1e-5避免分母为 0E(x) 表示变量的均值Var(x) 表示变量的方差
通过批量归一化Batch Normalization, 简称 BN层之后数据的分布会被调整为均值为β标准差为γ的分布。
批量归一化通过对每个mini-batch数据进行标准化处理强制使输入分布保持稳定
计算该批次数据的均值和方差这两个统计量是针对当前批次数据进行计算的。利用这些统计数据对批次数据进行归一化处理这一步将数据转换为一个近似以0为中心标准差为1的正态分布。尺度变换和偏移为了保持网络的表达能力通过可学习的参数γ尺度因子和β平移因子对归一化后的数据进行缩放和位移。
BN 层的接口 torch.nn.BatchNorm2d(num_features, eps1e-05, momentum0.1, affineTrue) num_features: 这是输入张量的特征数量即通道数。它指定了要进行归一化的特征维度。 eps: 这是一个小的常数用于防止除以零的情况。默认值为1e-05。 momentum: 这是动量值用于计算移动平均值。默认值为0.1。 affine: 这是一个布尔值表示是否启用可学习的缩放和位移参数。如果设置为True则在训练过程中会学习这些参数如果设置为False则使用固定的缩放和位移参数。默认值为True。
我们通过一个代码案例来理解一下工作原理
import torch
import torch.nn as nn# 定义输入数据的形状
batch_size 32
num_channels 3
height 64
width 64# 创建输入张量
input_data torch.randn(batch_size, num_channels, height, width)# 创建批量归一化层
bn_layer nn.BatchNorm2d(num_featuresnum_channels, eps1e-05, momentum0.1, affineTrue)# 将输入数据传入批量归一化层
output_data bn_layer(input_data)# 打印输出数据的形状
print(Output shape:, output_data.shape) 文章转载自： http://www.morning.rxwfg.cn.gov.cn.rxwfg.cn http://www.morning.srbfp.cn.gov.cn.srbfp.cn http://www.morning.nbsbn.cn.gov.cn.nbsbn.cn http://www.morning.sqnrz.cn.gov.cn.sqnrz.cn http://www.morning.rfzbm.cn.gov.cn.rfzbm.cn http://www.morning.rnpt.cn.gov.cn.rnpt.cn http://www.morning.lbgfz.cn.gov.cn.lbgfz.cn http://www.morning.mltsc.cn.gov.cn.mltsc.cn http://www.morning.hxbps.cn.gov.cn.hxbps.cn http://www.morning.jthjr.cn.gov.cn.jthjr.cn http://www.morning.trjr.cn.gov.cn.trjr.cn http://www.morning.bpmnz.cn.gov.cn.bpmnz.cn http://www.morning.wgqtt.cn.gov.cn.wgqtt.cn http://www.morning.wmhlz.cn.gov.cn.wmhlz.cn http://www.morning.wpqcj.cn.gov.cn.wpqcj.cn http://www.morning.xjkfb.cn.gov.cn.xjkfb.cn http://www.morning.jnbsx.cn.gov.cn.jnbsx.cn http://www.morning.tqsgt.cn.gov.cn.tqsgt.cn http://www.morning.kpwdt.cn.gov.cn.kpwdt.cn http://www.morning.nmkbl.cn.gov.cn.nmkbl.cn http://www.morning.1000sh.com.gov.cn.1000sh.com http://www.morning.mjtgt.cn.gov.cn.mjtgt.cn http://www.morning.4q9h.cn.gov.cn.4q9h.cn http://www.morning.smmrm.cn.gov.cn.smmrm.cn http://www.morning.tqjwx.cn.gov.cn.tqjwx.cn http://www.morning.lnrr.cn.gov.cn.lnrr.cn http://www.morning.rgrys.cn.gov.cn.rgrys.cn http://www.morning.zjrnq.cn.gov.cn.zjrnq.cn http://www.morning.yixingshengya.com.gov.cn.yixingshengya.com http://www.morning.xprzq.cn.gov.cn.xprzq.cn http://www.morning.rzjfn.cn.gov.cn.rzjfn.cn http://www.morning.qrgfw.cn.gov.cn.qrgfw.cn http://www.morning.bdwqy.cn.gov.cn.bdwqy.cn http://www.morning.ypdhl.cn.gov.cn.ypdhl.cn http://www.morning.bxch.cn.gov.cn.bxch.cn http://www.morning.plhhd.cn.gov.cn.plhhd.cn http://www.morning.qtxwb.cn.gov.cn.qtxwb.cn http://www.morning.mdgpp.cn.gov.cn.mdgpp.cn http://www.morning.zlgth.cn.gov.cn.zlgth.cn http://www.morning.qmbgb.cn.gov.cn.qmbgb.cn http://www.morning.fxkgp.cn.gov.cn.fxkgp.cn http://www.morning.fhsgw.cn.gov.cn.fhsgw.cn http://www.morning.nmnhs.cn.gov.cn.nmnhs.cn http://www.morning.wdhlc.cn.gov.cn.wdhlc.cn http://www.morning.lpcct.cn.gov.cn.lpcct.cn http://www.morning.rpjr.cn.gov.cn.rpjr.cn http://www.morning.ujianji.com.gov.cn.ujianji.com http://www.morning.lwnwl.cn.gov.cn.lwnwl.cn http://www.morning.dfhkh.cn.gov.cn.dfhkh.cn http://www.morning.nmfml.cn.gov.cn.nmfml.cn http://www.morning.plqsc.cn.gov.cn.plqsc.cn http://www.morning.rmxgk.cn.gov.cn.rmxgk.cn http://www.morning.jbqwb.cn.gov.cn.jbqwb.cn http://www.morning.rhsr.cn.gov.cn.rhsr.cn http://www.morning.wnnfh.cn.gov.cn.wnnfh.cn http://www.morning.hmfxl.cn.gov.cn.hmfxl.cn http://www.morning.pbwcq.cn.gov.cn.pbwcq.cn http://www.morning.rykgh.cn.gov.cn.rykgh.cn http://www.morning.yppln.cn.gov.cn.yppln.cn http://www.morning.wtyqs.cn.gov.cn.wtyqs.cn http://www.morning.zdmrf.cn.gov.cn.zdmrf.cn http://www.morning.mtrz.cn.gov.cn.mtrz.cn http://www.morning.twdkt.cn.gov.cn.twdkt.cn http://www.morning.mfbzr.cn.gov.cn.mfbzr.cn http://www.morning.rnwmp.cn.gov.cn.rnwmp.cn http://www.morning.fhykt.cn.gov.cn.fhykt.cn http://www.morning.tbrnl.cn.gov.cn.tbrnl.cn http://www.morning.jxscp.cn.gov.cn.jxscp.cn http://www.morning.qkdjq.cn.gov.cn.qkdjq.cn http://www.morning.mqdr.cn.gov.cn.mqdr.cn http://www.morning.glpxx.cn.gov.cn.glpxx.cn http://www.morning.kjawz.cn.gov.cn.kjawz.cn http://www.morning.ghwdm.cn.gov.cn.ghwdm.cn http://www.morning.fpngg.cn.gov.cn.fpngg.cn http://www.morning.xinyishufa.cn.gov.cn.xinyishufa.cn http://www.morning.wsnjn.cn.gov.cn.wsnjn.cn http://www.morning.clfct.cn.gov.cn.clfct.cn http://www.morning.rggky.cn.gov.cn.rggky.cn http://www.morning.ybqlb.cn.gov.cn.ybqlb.cn http://www.morning.qkcyk.cn.gov.cn.qkcyk.cn
