针对不同网站的cdn加速,凡科建设网站还用买服务器吗,网站 app 公众号先做哪个,wordpress导航两行文章目录 数据标准化一、什么是标准化二、常用标准化0~1标准化z标准化 三、注意事项 数据标准化
一、什么是标准化
数据标准化是一种数据预处理技术#xff0c;用于将数据按照一定的规则进行变换#xff0c;使得不同特征或变量具有可比性和一致性。作用 消除量纲影响 在实际… 文章目录 数据标准化一、什么是标准化二、常用标准化0~1标准化z标准化 三、注意事项 数据标准化
一、什么是标准化
数据标准化是一种数据预处理技术用于将数据按照一定的规则进行变换使得不同特征或变量具有可比性和一致性。作用 消除量纲影响 在实际数据集中不同的特征可能具有不同的单位和数量级。例如在一个包含身高单位厘米和体重单位千克的数据集中身高的数值范围可能是 150 - 200而体重的数值范围可能是 40 - 100。如果直接使用这些原始数据进行数据分析如聚类或距离计算身高的数值可能会因为其较大的数量级而在计算中占据主导地位从而掩盖体重特征的重要性。数据标准化可以将这些不同量纲的数据转换到同一尺度上。提升模型性能 在机器学习和数据挖掘中许多算法如 K - 近邻算法、支持向量机等的性能依赖于数据的分布情况。标准化后的数据可以使模型更容易收敛提高模型的准确性和稳定性。例如在神经网络的训练过程中标准化的数据有助于梯度下降算法更快地找到最优解减少训练时间并且避免梯度消失或爆炸等问题。方便数据比较和融合 当需要将来自不同数据源的数据进行合并或者比较时数据标准化是必不可少的。例如在金融领域要整合不同银行的客户信用评分数据这些数据可能由于银行采用的不同评分标准和尺度而无法直接比较。通过标准化可以将这些数据转换到统一的标准下便于进行综合评估。 优点和缺点 优点 提高模型性能 在机器学习算法中如线性回归、神经网络等标准化后的数据可以使模型更快地收敛。以梯度下降算法为例标准化能够确保不同特征在更新参数时具有相似的步长避免因某些特征的数值范围过大而导致梯度下降路径曲折从而加速模型训练过程。例如在预测房价的线性回归模型中如果房屋面积单位平方米和房间数量这两个特征没有进行标准化房屋面积的数值范围可能远大于房间数量这会使得模型在训练时过度关注房屋面积这个特征而标准化后可以让模型更均衡地学习每个特征的重要性提升预测准确性。增强数据可比性 标准化后的数据能够方便地比较不同特征之间的相对差异。例如在比较学生的各科成绩时语文成绩满分 150 分和数学成绩满分 100 分的原始分数不具有直接可比性。通过标准化可以将它们转换到相同的尺度下比如 Z - score 标准化后就能更直观地看出学生在这两门学科中的相对位置是高于平均水平还是低于平均水平进而综合评估学生的学习情况。便于数据融合和集成 当整合来自多个数据源的数据时标准化可以消除不同数据源由于量纲、数据分布等差异带来的影响。例如在医疗数据整合中不同医院的检查指标可能有不同的单位和正常范围。通过标准化这些数据可以被整合到一个统一的框架下便于后续的数据分析如构建疾病诊断模型或进行健康风险评估。提升聚类和分类效果 在聚类算法如 K - Means 聚类和分类算法如支持向量机中标准化有助于提高算法的准确性。以 K - Means 聚类为例标准化后的数据可以使聚类中心的初始化更加合理并且在计算样本与聚类中心的距离时能够更准确地反映样本之间的相似性。如果不进行标准化某些特征可能会因为数值较大而主导聚类结果导致聚类效果不佳。 缺点 丢失原始数据信息 在标准化过程中数据的原始尺度和分布信息会部分丢失。例如通过最小 - 最大标准化将数据映射到 [0, 1] 区间后无法直接从标准化后的数据中看出原始数据的具体数值范围。对于一些需要了解原始数据真实情况的应用场景如数据审计或对数据原始分布特征有严格要求的统计分析这可能会带来不便。依赖数据分布假设 某些标准化方法对数据分布有一定的假设。例如Z - score 标准化假设数据是正态分布或者近似正态分布。如果数据实际不符合这个假设标准化后的结果可能不能很好地达到预期效果。比如对于具有明显偏态分布的数据Z - score 标准化可能会扭曲数据的相对关系使得在后续的数据分析中产生误导。增加计算成本和时间 对于大规模数据集进行数据标准化需要额外的计算来确定标准化参数如均值、标准差、最大值、最小值等并且需要对每个数据点进行转换操作。这会增加数据预处理的时间和计算资源消耗。例如在处理包含数百万条记录的数据仓库中的数据时数据标准化可能会成为整个数据处理流程中的一个性能瓶颈。
二、常用标准化
0~1标准化 公式中x为原始数据min(x)为一组特征值的最小值max(x)为最大值。 0~1标准化的范围就像它的名字一样在[0-1]的范围。 在python中可以使用sklearn.preprocessing.MinMaxScaler类来实现0~1标准化
例子
import numpy as np
from sklearn.preprocessing import MinMaxScaler# 创建一个包含随机数值的二维数组模拟特征数据集
# 假设有5个样本每个样本有3个特征
np.random.seed(0) # 抛出一个随机种子为了让后面每次运行时生成的随机数值都与第一次相同
data np.random.rand(5, 3) * 10 # 生成一个5x3的数组每个元素的值在0到10之间
print(原始数据:)
print(data)# 使用MinMaxScaler进行归一化
min_max_scaler MinMaxScaler()
data_min_max min_max_scaler.fit_transform(data)
print(\nMinMaxScaler归一化后的数据:)
print(data_min_max)原始数据:
[[5.45374108 6.36285388 6.89790337][4.22031847 9.29446541 1.72869836][6.29878395 8.68105164 8.78970701][7.65555541 3.81574752 1.61238819][9.50247279 8.58981375 9.87706441]]MinMaxScaler归一化后的数据:
[[0.23350749 0.4649092 0.63953082][0. 1. 0.01407317][0.39348822 0.88803699 0.86843315][0.65034771 0. 0. ][1. 0.87138384 1. ]]z标准化
Z标准化也称为Z-score标准化或标准差标准化是一种数据预处理技术用于将数据转化为均值为0标准差为1的标准正态分布。这种方法在数据分析和机器学习中非常常见特别是当不同特征具有不同的尺度或单位时通过Z标准化可以使这些特征在相同的尺度上进行比较和处理。 x 是原始数据。μ 是所有样本数据的均值。σ 是所有样本数据的标准差。z 是转化后的数据即Z分数。 计算步骤 计算均值首先需要计算给定数据集的所有样本的均值μ。计算标准差然后计算数据集的标准差σ它衡量了数据点与均值的偏差程度。应用公式最后使用Z标准化的公式将每个原始数据点转换为Z分数。 在python中可以使用sklearn.preprocessing.StandardScaler类的fit_transform方法来实现z标准化。 例子
import numpy as np
from sklearn.preprocessing import StandardScaler# 创建一个包含随机数值的二维数组模拟特征数据集
# 假设有5个样本每个样本有3个特征
np.random.seed(0) # 抛出一个随机种子为了让后面每次运行时生成的随机数值都与第一次相同
data np.random.rand(5, 3) * 10 # 生成一个5x3的数组每个元素的值在0到10之间
print(原始数据:)
print(data)# 使用StandardScaler进行标准化
scaler_Z StandardScaler()
data_scaled scaler_Z.fit_transform(data)
print(\nStandardScaler标准化后的数据:)
print(data_scaled)原始数据:
[[2.91800254 3.2360031 9.66065598][7.47746281 4.00855141 2.03950532][9.8433753 8.32004568 4.55501016][6.00990907 9.91191497 4.61528516][0.15924446 1.95696181 6.33065699]]StandardScaler标准化后的数据:
[[-0.69405259 -0.73160863 1.67789759][ 0.64479923 -0.48048456 -1.35200705][ 1.33953196 0.92100707 -0.35192975][ 0.21386292 1.43845911 -0.3279665 ][-1.50414152 -1.14737299 0.35400572]]三、注意事项
选择适当的方法根据数据的特性和算法的需求选择合适的数据标准化方法。例如如果数据集中存在异常值Z标准化可能会受到影响而最小-最大标准化则不受影响但也可能因为异常值而改变缩放范围。考虑数据分布数据标准化会改变数据的原始分布。在解释标准化后的数据时需要考虑到这一点。对测试集使用相同的参数在训练集上进行数据标准化后应使用相同的均值、标准差对于Z标准化或最小值、最大值对于最小-最大标准化来标准化测试集。避免数据泄露在实际应用中需要确保在训练模型之前进行数据标准化以避免在标准化过程中引入测试集的信息从而导致数据泄露。
