珠海网站建设模板,网站建设制作网络营销公司,淘宝网页版评价管理在哪里,开发平台价格主成分分析 相关概念方差协方差协方差矩阵特征值和特征向量 主成分分析数据降维主成分分析原理主成分分析过程sklearn库中的PCA主成分分析实现案例 相关概念
方差
方差是一个用来衡量一组数据离散程度的统计量#xff0c;它是各样本与样本均值的差的平方和的平均值。方差越大… 主成分分析 相关概念方差协方差协方差矩阵特征值和特征向量 主成分分析数据降维主成分分析原理主成分分析过程sklearn库中的PCA主成分分析实现案例 相关概念
方差
方差是一个用来衡量一组数据离散程度的统计量它是各样本与样本均值的差的平方和的平均值。方差越大表示数据的离散程度越大。
方差公式 s 2 ∑ i 1 n ( x i − x ) 2 ) n − 1 s^2 \frac{\sum_{i1}^{n}(x_i - x)^2)}{n - 1} s2n−1∑i1n(xi−x)2)
协方差
协方差是一个用来衡量两个随机变量之间相关性或线性关系的统计量它描述了两个随机变量的变化趋势是否一致。协方差的值可以为正、负或零分别表示正相关、负相关或无相关。绝对值越大表示两个随机变量的相关性越强。 然而协方差的值无法直接比较因为它受到随机变量尺度的影响。为了消除尺度影响可以使用相关系数来衡量两个随机变量的相关性。
协方差公式 c o v ( X , Y ) ∑ i 1 n ( X i − X ˉ ) ( Y i − Y ˉ ) n − 1 cov(X, Y) \frac{\sum_{i1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})}{n - 1} cov(X,Y)n−1∑i1n(Xi−Xˉ)(Yi−Yˉ)
协方差矩阵
协方差矩阵是一个对称矩阵用来衡量多个随机变量之间的相关性或线性关系。它描述了多个随机变量之间的变化趋势是否一致。 协方差矩阵可以用来衡量多个随机变量之间的相关性可以通过观察矩阵中的元素值来判断变量之间的关系。对角线上的元素表示每个随机变量的方差非对角线上的元素表示不同随机变量之间的协方差。
特征值和特征向量
在线性代数中特征值和特征向量是矩阵的重要概念。 特征值eigenvalue是一个标量表示线性变换中的一个重要性质。对于一个n×n的方阵A如果存在一个非零向量v使得满足以下条件 A v λ v Av λv Avλv 其中v是一个非零向量λ是一个标量则λ被称为矩阵A的特征值v被称为对应于特征值λ的特征向量。 特征向量eigenvector是与特征值相关联的向量。特征向量是指在线性变换中只发生伸缩而不改变方向的向量。特征向量可以通过特征值方程来求解。 特征值和特征向量的重要性在于它们提供了矩阵的重要性质和结构信息。通过求解特征值和特征向量可以得到矩阵的主要特征、主要方向以及变换的性质。在数据分析和机器学习中特征值和特征向量经常被用于数据降维、特征提取和数据压缩等任务。
主成分分析
数据降维
数据降维是指通过保留数据中最重要的信息将高维数据转换为低维表示的过程。在实际应用中高维数据可能存在冗余、噪声或者维度灾难等问题这时候可以使用数据降维技术来减少数据的维度从而简化数据分析和处理的复杂性。数据降维可以帮助我们在处理和分析大规模高维数据时更加高效和准确同时可以减少存储空间和计算成本。
数据降维的主要目的是在尽量保留原始数据的关键特征的前提下减少数据的维度。常见的数据降维方法包括主成分分析PCA、因子分析FA、独立成分分析ICA、线性判别分析LDA、奇异值分解SVD等。
主成分分析原理
主成分分析Principal Component AnalysisPCA是一种常用的无监督学习方法主要用于数据降维和特征提取。其目的是通过线性变换将原始数据投影到一组新的正交特征上使得投影后的数据具有最大的方差。这样可以保留最重要的信息并且去除冗余的维度。换句话说PCA试图找到最能够解释数据变异性的主要方向主成分这些主成分是数据中最重要的特征通过按照方差大小递减的顺序选择可以实现降维。
主成分分析可以把具有相关性的高维变量转换为线性无关的低维变量称为主成分。主成分能够尽可能保留原始数据的信息。 矩阵的主成分就是其协方差矩阵对应的特征向量按照对应的特征值大小进行排序最大的特征值就是第一主成分其次是第二主成分依次类推。
主成分分析过程
主成分分析的步骤如下
对数据进行标准化使得每个特征的均值为0方差为1。计算协方差矩阵反映不同特征之间的相关性。对协方差矩阵进行特征值分解得到特征值和对应的特征向量。将特征值按照大小排序选择前k个特征值对应的特征向量作为主成分。将原始数据与选取的主成分相乘得到降维后的数据。
sklearn库中的PCA
sklearn.decomposition.PCA(n_componentsNone, copyTrue, whitenFalse)
n_components – PCA算法中所要保留的主成分个数n即保留下来的特征个数n int或string类型缺省时默认为None即所有成分被保留 赋值为int比如n_components1则将把原始数据降到一个维度 赋值为string比如n_components‘mle’则将自动选取特征个数n使得满足所要求的方差百分比。copy – bool类型True或者False缺省时默认为True 该参数表示是否在运行算法时将原始训练数据复制一份。若为True则运行PCA算法后原始训练数据的值不会有任何改变因为是在原始数据的副本上进行的运算若为False则运行PCA算法后原始训练数据的值会发生改变因为是在原始数据上进行的降维计算。whiten – bool类型缺省时默认为False 白化使得每个特征具有相同的方差。如果为True它会将分量向量标准化为单位方差这在某些情况下可用于预测模型默认为False。
PCA对象的方法
fit(X, yNone) fit()可以说是scikit-learn中通用的方法每个需要训练的算法都会有fit()方法它其实就是算法中的“训练”这一步骤。因为PCA是无监督学习算法此处y自然等于None fit(X)表示用数据X来训练PCA模型 pca.fit(X)表示用X对pca这个对象进行训练。fit_transform(X) 用X来训练PCA模型同时返回降维后的数据 newXpca.fit_transform(X)newX就是降维后的数据。transform(X) 将数据X转换成降维后的数据。当模型训练好后对于新输入的数据都可以用transform()方法来降维。
主成分分析实现案例
已知鸢尾花数据是四维的共三类样本。要求使用PCA算法对鸢尾花数据进行降维并实现二维平面上的可视化。
代码实现
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA # 导入PCA模块
from sklearn.datasets import load_iris # 导入鸢尾花数据集模块# 加载数据
data load_iris() # 以字典形式加载鸢尾花数据集
X data.data # 使用X表示数据集中的属性数据
y data.target # 使用y表示数据集中的标签# 使用PCA算法进行数据降维
pca PCA(n_components2) # 创建PCA对象设置降维后主成分个数为2
reduced_X pca.fit_transform(X) # 对原始数据进行降维降维后数据保存在reduced_X中# 按类别对降维后的数据进行保存
red_x, red_y [], [] # 第一类数据点
green_x, green_y [], [] # 第二类数据点
blue_x, blue_y [], [] # 第三类数据点for i in range(len(reduced_X)): # 按照鸢尾花的类别将降维后的数据点保存在不同的列表中if y[i] 0:red_x.append(reduced_X[i][0])red_y.append(reduced_X[i][1])elif y[i] 1:green_x.append(reduced_X[i][0])green_y.append(reduced_X[i][1])else:blue_x.append(reduced_X[i][0])blue_y.append(reduced_X[i][1])# 降维后数据点的可视化
plt.scatter(red_x, red_y, cr, markerx)
plt.scatter(green_x, green_y, cg, markerD)
plt.scatter(blue_x, blue_y, cb, marker.)plt.show()更详细的代码实现
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris# 加载鸢尾花数据集
iris load_iris()
X iris.data
y iris.target# 数据标准化
# PCA算法对数据的尺度敏感因此在应用PCA之前需要对数据进行标准化处理使得每个特征的均值为0方差为1
X (X - np.mean(X, axis0)) / np.std(X, axis0) # 标准化公式(样本数据 - 样本均值) / 样本标准差# 计算协方差矩阵
cov_matrix np.cov(X.T)# 计算特征值和特征向量
eigenvalues, eigenvectors np.linalg.eig(cov_matrix)# 选择主成分
explained_variance_ratio eigenvalues / np.sum(eigenvalues)# 降维
n_components 2 # 选择降维后的维数
top_eigenvectors eigenvectors[:, :n_components]
X_pca X.dot(top_eigenvectors)# 按类别对降维后的数据进行保存
red_x, red_y [], [] # 第一类数据点
green_x, green_y [], [] # 第二类数据点
blue_x, blue_y [], [] # 第三类数据点for i in range(len(X_pca)): # 按照鸢尾花的类别将降维后的数据点保存在不同的列表中if y[i] 0:red_x.append(X_pca[i][0])red_y.append(X_pca[i][1])elif y[i] 1:green_x.append(X_pca[i][0])green_y.append(X_pca[i][1])else:blue_x.append(X_pca[i][0])blue_y.append(X_pca[i][1])# 降维后数据点的可视化
plt.scatter(red_x, red_y, cr, markerx)
plt.scatter(green_x, green_y, cg, markerD)
plt.scatter(blue_x, blue_y, cb, marker.)plt.show()
文章转载自： http://www.morning.knmby.cn.gov.cn.knmby.cn http://www.morning.pqsys.cn.gov.cn.pqsys.cn http://www.morning.tsdqr.cn.gov.cn.tsdqr.cn http://www.morning.ypzsk.cn.gov.cn.ypzsk.cn http://www.morning.rnht.cn.gov.cn.rnht.cn http://www.morning.bpmtj.cn.gov.cn.bpmtj.cn http://www.morning.wrlqr.cn.gov.cn.wrlqr.cn http://www.morning.gsksm.cn.gov.cn.gsksm.cn http://www.morning.qxwwg.cn.gov.cn.qxwwg.cn http://www.morning.fysdt.cn.gov.cn.fysdt.cn http://www.morning.wgdnd.cn.gov.cn.wgdnd.cn http://www.morning.fbmzm.cn.gov.cn.fbmzm.cn http://www.morning.zpnfc.cn.gov.cn.zpnfc.cn http://www.morning.xpmwt.cn.gov.cn.xpmwt.cn http://www.morning.bdkhl.cn.gov.cn.bdkhl.cn http://www.morning.qzqfq.cn.gov.cn.qzqfq.cn http://www.morning.czrcf.cn.gov.cn.czrcf.cn http://www.morning.nrfrd.cn.gov.cn.nrfrd.cn http://www.morning.ltdrz.cn.gov.cn.ltdrz.cn http://www.morning.ywrt.cn.gov.cn.ywrt.cn http://www.morning.pznqt.cn.gov.cn.pznqt.cn http://www.morning.nbnq.cn.gov.cn.nbnq.cn http://www.morning.wdnkp.cn.gov.cn.wdnkp.cn http://www.morning.sqqkr.cn.gov.cn.sqqkr.cn http://www.morning.cbnxq.cn.gov.cn.cbnxq.cn http://www.morning.dnphd.cn.gov.cn.dnphd.cn http://www.morning.zwfgh.cn.gov.cn.zwfgh.cn http://www.morning.pxlsh.cn.gov.cn.pxlsh.cn http://www.morning.gqmhq.cn.gov.cn.gqmhq.cn http://www.morning.czrcf.cn.gov.cn.czrcf.cn http://www.morning.qtfss.cn.gov.cn.qtfss.cn http://www.morning.xkpjl.cn.gov.cn.xkpjl.cn http://www.morning.fgrkc.cn.gov.cn.fgrkc.cn http://www.morning.mtymb.cn.gov.cn.mtymb.cn http://www.morning.aiai201.cn.gov.cn.aiai201.cn http://www.morning.wmrgp.cn.gov.cn.wmrgp.cn http://www.morning.mtrfz.cn.gov.cn.mtrfz.cn http://www.morning.tgnwt.cn.gov.cn.tgnwt.cn http://www.morning.wdpbq.cn.gov.cn.wdpbq.cn http://www.morning.fkgcd.cn.gov.cn.fkgcd.cn http://www.morning.mlycx.cn.gov.cn.mlycx.cn http://www.morning.fykqh.cn.gov.cn.fykqh.cn http://www.morning.gxcym.cn.gov.cn.gxcym.cn http://www.morning.prgnp.cn.gov.cn.prgnp.cn http://www.morning.ldzxf.cn.gov.cn.ldzxf.cn http://www.morning.qlry.cn.gov.cn.qlry.cn http://www.morning.zyrcf.cn.gov.cn.zyrcf.cn http://www.morning.kbdjn.cn.gov.cn.kbdjn.cn http://www.morning.kpzbf.cn.gov.cn.kpzbf.cn http://www.morning.clxpp.cn.gov.cn.clxpp.cn http://www.morning.chfxz.cn.gov.cn.chfxz.cn http://www.morning.smtrp.cn.gov.cn.smtrp.cn http://www.morning.mtrfz.cn.gov.cn.mtrfz.cn http://www.morning.hffpy.cn.gov.cn.hffpy.cn http://www.morning.zthln.cn.gov.cn.zthln.cn http://www.morning.dncgb.cn.gov.cn.dncgb.cn http://www.morning.lcbnb.cn.gov.cn.lcbnb.cn http://www.morning.fhkr.cn.gov.cn.fhkr.cn http://www.morning.qmzwl.cn.gov.cn.qmzwl.cn http://www.morning.muniubangcaishui.cn.gov.cn.muniubangcaishui.cn http://www.morning.ggjlm.cn.gov.cn.ggjlm.cn http://www.morning.bljcb.cn.gov.cn.bljcb.cn http://www.morning.gcrlb.cn.gov.cn.gcrlb.cn http://www.morning.rcgzg.cn.gov.cn.rcgzg.cn http://www.morning.jgcyn.cn.gov.cn.jgcyn.cn http://www.morning.tqrjj.cn.gov.cn.tqrjj.cn http://www.morning.bswnf.cn.gov.cn.bswnf.cn http://www.morning.bhqlj.cn.gov.cn.bhqlj.cn http://www.morning.krtky.cn.gov.cn.krtky.cn http://www.morning.tjqcfw.cn.gov.cn.tjqcfw.cn http://www.morning.coffeedelsol.com.gov.cn.coffeedelsol.com http://www.morning.rwlns.cn.gov.cn.rwlns.cn http://www.morning.zpfr.cn.gov.cn.zpfr.cn http://www.morning.krklj.cn.gov.cn.krklj.cn http://www.morning.bfkrf.cn.gov.cn.bfkrf.cn http://www.morning.alwpc.cn.gov.cn.alwpc.cn http://www.morning.jlschmy.com.gov.cn.jlschmy.com http://www.morning.npgwb.cn.gov.cn.npgwb.cn http://www.morning.bjsites.com.gov.cn.bjsites.com http://www.morning.skdrp.cn.gov.cn.skdrp.cn
