灰色网站建设优化,个人网站做电影网站,免费模板建设网站,电子商务公司营业执照经营范围目录
一、主成分分析
二、奇异值分解
2.1 奇异值分解原理
2.2 奇异值分解实践
三、特征值与特征向量 一、主成分分析
主成分有如下特征#xff1a;
每个主成分是原变量的线性组合#xff1b;各个主成分之间互不相关#xff1b;主成分按照方差贡献率从大到小依次排列
每个主成分是原变量的线性组合各个主成分之间互不相关主成分按照方差贡献率从大到小依次排列所有主成分的方差贡献率求和为1提取后的主成分通常小于原始数据变量的数量提取后的主成分尽可能地保留了原始变量中的大部分信息。
我们仍以经典的鸢尾花数据集对主成分分析进行介绍。
通过导入PCA进行主成分分析。
#导入库
import numpy as np
import pandas as pd
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris#导入数据
dataload_iris()#主成分分析
modelPCA()
model.fit(data.data)#显示主成分信息
pd.DataFrame(model.transform(data.data),columns[PC{}.format(x1) for x in range(data.data.shape[1])]) 上述结果给出了鸢尾花数据集的4个全部主成分然而选择几个主成分需要进一步判断。这里可以通过计算主成分的累计贡献率进行判断代码如下
import matplotlib.ticker as ticker
import matplotlib.pyplot as plt
plt.gca().get_xaxis().set_major_locator(ticker.MaxNLocator(integerTrue))
plt.plot([0]list(np.cumsum(model.explained_variance_ratio_)),-)
plt.xlabel(Number of principal componets)
plt.ylabel(Cumulative contribution rate)
plt.show() 从上图可以看出主成分从0~1时非常陡峭而从1往后区域平缓因此针对4维鸢尾花数据我们只需要保留1个主成分即将原4维数据降维到现在的1维。
利用下面的代码我们可以用更加量化的方式查看主成分累积贡献率。
model.explained_variance_ratio_ 结果显示1个主成分就已经达到了92.46%保留了原数据中绝大部分信息。
综上主成分分析的全部代码如下
#导入库
import numpy as np
import pandas as pd
from sklearn.decomposition import PCA
from sklearn.datasets import load_iris#导入数据
dataload_iris()#主成分分析
modelPCA()
model.fit(data.data)#显示主成分信息
pd.DataFrame(model.transform(data.data),columns[PC{}.format(x1) for x in range(data.data.shape[1])])#绘制主成分的累积贡献率的折线图
import matplotlib.ticker as ticker
import matplotlib.pyplot as plt
plt.gca().get_xaxis().set_major_locator(ticker.MaxNLocator(integerTrue))
plt.plot([0]list(np.cumsum(model.explained_variance_ratio_)),-)
plt.xlabel(Number of principal componets)
plt.ylabel(Cumulative contribution rate)
plt.show()#量化主成分的累计贡献率
model.explained_variance_ratio_
二、奇异值分解
2.1 奇异值分解原理
奇异值分解SVD将一个任意矩阵进行分解无须考虑特征值分解时需要矩阵是方阵的前提。
假设矩阵M是一个阶矩阵则可以将其分解为下面的三个矩阵相乘
其中
U是阶正交矩阵为单位矩阵是阶正交矩阵是阶非负实数对角矩阵。
这种将矩阵M分解的方法就被称为奇异值分解矩阵上对角线上的元素即为M的奇异值。
考虑一个的任意矩阵此时的秩为n矩阵中不同深度的灰色表示奇异值大小不同对角线上的奇异值假设存在n个非零的奇异值依次从大到小进行排列。在这种情况下矩阵U的最后m-n列失去了意义。 因此可以做进一步的变化此时阶的矩阵U变为阶的矩阵阶的矩阵变为阶的矩阵。 当我们取kn比如k2时即认为前两个奇异值占总奇异值之和的比例非常大因此可以如下图进行运算尽管此时但是由于删除的奇异值占比很小我们可以认为。 2.2 奇异值分解实践
利用python可以很方便实现对矩阵的奇异值分解例如对阶的矩阵M进行奇异值分解 代码如下
import numpy as np
Mnp.array([[1,0,0,0,2],[0,0,3,0,0],[0,0,0,0,0],[0,4,0,0,0]])
U,Sigma,VTnp.linalg.svd(M)
print(U:,U)
print(Sigma:,Sigma)
print(VT:,VT) 导入一张图片下面的代码给出了地秩近似序列使用奇异值分解逼近的图片。
import numpy as np
import matplotlib.pyplot as plt
from PIL import Imager_max300 #设置最大的秩
PicC:\\Users\\LEGION\\Pictures\\Saved Pictures\\暨大logo.pngimageImage.open(Pic).convert(L)
img_matnp.asarray(image)U,s,Vnp.linalg.svd(img_mat,full_matricesTrue)
snp.diag(s)for k in range(r_max1):approxU[:,:k] s[0:k,:k] V[:k,:]imgplt.imshow(approx,cmapgray)plt.title(SVD approximation with degree of %d%(k))plt.plot()plt.pause(0.001)plt.clf() 三、特征值与特征向量
利用python与Numpy库很容易得到一个矩阵的特征值和特征向量。
import numpy as np
Anp.array([[1,2],[3,4]])
a,bnp.linalg.eig(A)
print(A的特征值为\n,a)
print(A的特征向量为\n,b) 通过np.lianlg.eig()函数得到的特征向量是已经标准化的向量 即长度为1.改函数给出的特征值未按大小顺序排序。
除了特征值和特征向量外协方差矩阵与相关系数矩阵也是降维分析中的重要概念。以鸢尾花的4个特征向量为例协方差矩阵的每个元素是各个向量元素之间的协方差相关系数矩阵的各元素是由各特征间的相关系数构成的。
import numpy as np
from sklearn.datasets import load_iris#导入数
dataload_iris()
Xdata.dataCov_Xnp.cov(X.T) #求解协方差矩阵
Cor_Xnp.corrcoef(X.T) #求解相关系数矩阵print(协方差矩阵\n,Cov_X)
print(相关系数矩阵\n,Cor_X) 利用协方差矩阵和相关系数矩阵可以求解主成分。这里以利用协方差矩阵为例进行说明。
沿用上面的协方差矩阵数据可以求得其特征值和特征向量
import numpy as np
from sklearn.datasets import load_iris#导入数
dataload_iris()
Xdata.dataCov_Xnp.cov(X.T) #求解协方差矩阵a,bnp.linalg.eig(Cov_X)
print(协方差矩阵的特征值为\n,a)
print(协方差矩阵的特征向量为\n,b) 协方差矩阵的特征值即为主成分的方差贡献率 第一个主成分解释方差所占比例已经高达92.46%说明已经可以在这个比例上解释原始数据信息因此可以将鸢尾花数据从四维降至一维。第一主成分如下 其中表示该列特征的均值等式右边的系数为协方差矩阵的特征向量的第一列与第一个特征值相对应的数值。
除了协方差矩阵相关系数矩阵也可以求解主成分。但是两种不同的求解方法结果通常会有一定的差别。此外值得注意的是如果对已经标准化的数据求协方差矩阵实际上就是对原变量求相关系数矩阵。
在求解主成分时如果变量间的单位不同应该先将变量标准化后进行计算。否则由于单位不同导致的取值范围悬殊太大会影响最终的结果。 文章转载自： http://www.morning.xesrd.com.gov.cn.xesrd.com http://www.morning.tqsmg.cn.gov.cn.tqsmg.cn http://www.morning.rlqml.cn.gov.cn.rlqml.cn http://www.morning.rsnd.cn.gov.cn.rsnd.cn http://www.morning.pzbjy.cn.gov.cn.pzbjy.cn http://www.morning.xirfr.cn.gov.cn.xirfr.cn http://www.morning.qjngk.cn.gov.cn.qjngk.cn http://www.morning.rnsjp.cn.gov.cn.rnsjp.cn http://www.morning.5-73.com.gov.cn.5-73.com http://www.morning.lywys.cn.gov.cn.lywys.cn http://www.morning.xnnxp.cn.gov.cn.xnnxp.cn http://www.morning.pbmkh.cn.gov.cn.pbmkh.cn http://www.morning.bgpb.cn.gov.cn.bgpb.cn http://www.morning.sqfnx.cn.gov.cn.sqfnx.cn http://www.morning.kcypc.cn.gov.cn.kcypc.cn http://www.morning.tlnbg.cn.gov.cn.tlnbg.cn http://www.morning.cryb.cn.gov.cn.cryb.cn http://www.morning.syznh.cn.gov.cn.syznh.cn http://www.morning.rlzxr.cn.gov.cn.rlzxr.cn http://www.morning.zycll.cn.gov.cn.zycll.cn http://www.morning.dqdss.cn.gov.cn.dqdss.cn http://www.morning.dbtdy.cn.gov.cn.dbtdy.cn http://www.morning.saletj.com.gov.cn.saletj.com http://www.morning.prgdy.cn.gov.cn.prgdy.cn http://www.morning.nxbkw.cn.gov.cn.nxbkw.cn http://www.morning.zmpqt.cn.gov.cn.zmpqt.cn http://www.morning.jjnry.cn.gov.cn.jjnry.cn http://www.morning.mfltz.cn.gov.cn.mfltz.cn http://www.morning.wfqcs.cn.gov.cn.wfqcs.cn http://www.morning.ylljn.cn.gov.cn.ylljn.cn http://www.morning.ptmsk.cn.gov.cn.ptmsk.cn http://www.morning.dzzjq.cn.gov.cn.dzzjq.cn http://www.morning.lpppg.cn.gov.cn.lpppg.cn http://www.morning.yfnjk.cn.gov.cn.yfnjk.cn http://www.morning.bfgbz.cn.gov.cn.bfgbz.cn http://www.morning.txjrc.cn.gov.cn.txjrc.cn http://www.morning.ymrq.cn.gov.cn.ymrq.cn http://www.morning.xcyzy.cn.gov.cn.xcyzy.cn http://www.morning.bzlsf.cn.gov.cn.bzlsf.cn http://www.morning.wnqbf.cn.gov.cn.wnqbf.cn http://www.morning.fynkt.cn.gov.cn.fynkt.cn http://www.morning.frtt.cn.gov.cn.frtt.cn http://www.morning.rfwrn.cn.gov.cn.rfwrn.cn http://www.morning.qwqzk.cn.gov.cn.qwqzk.cn http://www.morning.jpnfm.cn.gov.cn.jpnfm.cn http://www.morning.gfjgq.cn.gov.cn.gfjgq.cn http://www.morning.smfbw.cn.gov.cn.smfbw.cn http://www.morning.srzhm.cn.gov.cn.srzhm.cn http://www.morning.ktcrr.cn.gov.cn.ktcrr.cn http://www.morning.ngqty.cn.gov.cn.ngqty.cn http://www.morning.ymwrs.cn.gov.cn.ymwrs.cn http://www.morning.cfrz.cn.gov.cn.cfrz.cn http://www.morning.lqklf.cn.gov.cn.lqklf.cn http://www.morning.wjlhp.cn.gov.cn.wjlhp.cn http://www.morning.tongweishi.cn.gov.cn.tongweishi.cn http://www.morning.ffcsr.cn.gov.cn.ffcsr.cn http://www.morning.ngmjn.cn.gov.cn.ngmjn.cn http://www.morning.jlxld.cn.gov.cn.jlxld.cn http://www.morning.ptwzy.cn.gov.cn.ptwzy.cn http://www.morning.wqmyh.cn.gov.cn.wqmyh.cn http://www.morning.zhmgcreativeeducation.cn.gov.cn.zhmgcreativeeducation.cn http://www.morning.iuibhkd.cn.gov.cn.iuibhkd.cn http://www.morning.dtlqc.cn.gov.cn.dtlqc.cn http://www.morning.rkmhp.cn.gov.cn.rkmhp.cn http://www.morning.qkcyk.cn.gov.cn.qkcyk.cn http://www.morning.pcrzf.cn.gov.cn.pcrzf.cn http://www.morning.mtymb.cn.gov.cn.mtymb.cn http://www.morning.kqlrl.cn.gov.cn.kqlrl.cn http://www.morning.rfrx.cn.gov.cn.rfrx.cn http://www.morning.jpzcq.cn.gov.cn.jpzcq.cn http://www.morning.ymmjx.cn.gov.cn.ymmjx.cn http://www.morning.jyzxt.cn.gov.cn.jyzxt.cn http://www.morning.ryxdf.cn.gov.cn.ryxdf.cn http://www.morning.nwpnj.cn.gov.cn.nwpnj.cn http://www.morning.prhfc.cn.gov.cn.prhfc.cn http://www.morning.bdypl.cn.gov.cn.bdypl.cn http://www.morning.gqwbl.cn.gov.cn.gqwbl.cn http://www.morning.rfyff.cn.gov.cn.rfyff.cn http://www.morning.jfmyt.cn.gov.cn.jfmyt.cn http://www.morning.kpxzq.cn.gov.cn.kpxzq.cn
