微网站建设制作,建立一个网站怎样赚钱,昭通学院教务管理系统,影视网站建设方案EM算法#xff08;Expectation-Maximization Algorithm#xff09;是一种基于迭代优化的聚类算法#xff0c;用于在无监督的情况下将数据集分成几个不同的组或簇。EM算法是一种迭代算法#xff0c;包含两个主要步骤#xff1a;期望步骤#xff08;E-step#xff09;和最…EM算法Expectation-Maximization Algorithm是一种基于迭代优化的聚类算法用于在无监督的情况下将数据集分成几个不同的组或簇。EM算法是一种迭代算法包含两个主要步骤期望步骤E-step和最大化步骤M-step。 在EM算法中假设我们有一个数据集但是我们不知道数据集中的数据是如何分布的。我们希望将这个数据集分成K个不同的簇其中每个簇代表一种不同的数据分布。每个簇都由其均值和协方差矩阵表示。EM算法的主要思想是在开始时随机地初始化这些簇然后通过E-step和M-step交替迭代来优化簇的均值和协方差矩阵直到收敛。
具体来说EM算法的工作原理如下 初始化随机选择K个中心点作为初始的簇中心并计算它们的均值和协方差矩阵。 E-step对于每个数据点计算其属于每个簇的概率即责任因子根据这些概率对每个点进行分组。 M-step对于每个簇使用加权最小二乘法计算其新的均值和协方差矩阵。 重复E-step和M-step直到收敛即责任因子和中心点的变化小于预定义的阈值。 输出最终的簇中心和它们对应的均值和协方差矩阵以及每个数据点所属的簇。
使用EM算法完成王者荣耀英雄聚类任务
上面介绍了EM 算法的概念接下来看个简单的Demo代码下面的Demo代码是读取原始的csv文件数据然后使用EM算法进行聚类处理。该文件中记录了不同的hero在最大生命、生命长度等特征上的值。可以看到Demo代码中主要是三个步骤步骤一通过热力图选取部分特性实际就是降纬处理步骤二对数据进行归一化处理步骤三创建GaussianMixture传入数据进行无监督训练然后输出分类结果。
# -*- coding: utf-8 -*-
import pandas as pd
import csv
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.mixture import GaussianMixture
from sklearn.preprocessing import StandardScaler# 数据加载避免中文乱码问题
data_ori pd.read_csv(./em/heros.csv, encodinggb18030)
features [u最大生命, u生命成长, u初始生命, u最大法力, u法力成长, u初始法力, u最高物攻, u物攻成长,u初始物攻, u最大物防, u物防成长, u初始物防, u最大每5秒回血, u每5秒回血成长, u初始每5秒回血,u最大每5秒回蓝, u每5秒回蓝成长, u初始每5秒回蓝
]
data data_ori[features]# 对英雄属性之间的关系进行可视化分析
# 设置 plt 正确显示中文
plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签
plt.rcParams[axes.unicode_minus] False # 用来正常显示负号
# 用热力图呈现 features_mean 字段之间的相关性
corr data[features].corr()
plt.figure(figsize(14, 14))
# annotTrue 显示每个方格的数据
sns.heatmap(corr, annotTrue)
plt.show()# 相关性大的属性保留一个因此可以对属性进行降维
features_remain [u最大生命, u初始生命, u最大法力, u最高物攻, u初始物攻, u最大物防, u初始物防, u最大每5秒回血,u最大每5秒回蓝, u初始每5秒回蓝
]
data data_ori[features_remain]
# data[u最大攻速] data[u最大攻速].apply(lambda x: float(x.strip(%)) / 100)
# data[u攻击范围] data[u攻击范围].map({远程: 1, 近战: 0})
# 采用 Z-Score 规范化数据保证每个特征维度的数据均值为 0方差为 1
ss StandardScaler()
data ss.fit_transform(data)
# 构造 GMM 聚类
gmm GaussianMixture(n_components30, covariance_typefull)
gmm.fit(data)
# 训练数据
prediction gmm.predict(data)
print(prediction)
# 将分组结果输出到 CSV 文件中
data_ori.insert(0, 分组, prediction)
data_ori.to_csv(./hero_out.csv, indexFalse, sep,)from sklearn.metrics import calinski_harabaz_scoreprint(calinski_harabaz_score(data, prediction))下图是分类后的结果详细信息如下所示 在上面的Demo代码中使用到了GaussianMixture方法该方法是一个用于拟合高斯混合模型GMM的类Demo代码中传入了分类的数量和协方差类型。该方法实际包含很多输入参数各个参数含义如下所示
n_componentsGMM中的分类数量默认为1。covariance_typeGMM中各个分量的协方差类型。可选的值为full完全协方差矩阵、tied相同的协方差矩阵、diag对角协方差矩阵和spherical各向同性的协方差矩阵。默认为full。tolEM算法的收敛容差默认为1e-3。reg_covar协方差矩阵对角线上的正则化参数。该参数用于确保协方差矩阵是半正定的以避免数值计算的问题。默认为0。max_iterEM算法的最大迭代次数默认为100。n_init使用不同的初始化策略进行训练的次数。模型将选择具有最佳性能的初始化策略。默认为1。init_params用于控制初始化策略的参数。默认为kmeans表示使用K-Means算法初始化GMM的均值和协方差矩阵也可以设置为一个元组例如(random, {means: means_init, covars: covars_init})表示使用随机值初始化GMM的均值和协方差矩阵。weights_initGMM各个分量的权重初始化值。默认为None表示使用初始化策略即init_params来初始化权重。means_initGMM各个分量的均值初始化值。默认为None表示使用初始化策略即init_params来初始化均值。precisions_initGMM各个分量的协方差矩阵的逆矩阵初始化值。默认为None表示使用初始化策略即init_params来初始化协方差矩阵。random_state控制随机数生成器的种子以便在多次运行中得到相同的结果。默认为None。warm_start如果为True则使用上一次拟合的结果作为初始化值并继续从上一次停止的地方训练。默认为False。verbose控制训练过程中的详细程度。默认为0表示不输出任何信息。verbose_interval控制训练过程中输出信息的频率。默认为10表示每迭代10次输出一次信息。
上面的init_params参数控制初始化策略默认是kmeans即用K-Means算法初始化GMM的均值和协方差矩阵前面介绍过K-Means算法该算法也可以完成聚类任务那么EM算法和K-means算法有什么区别呢
EM算法与K-Means算法区别 簇形状K-means算法假定每个簇都是由一个中心点和周围的数据点组成的球形簇而EM算法则假定每个簇可以由任意形状的高斯分布表示。 簇数量在K-means算法中需要预先指定要划分的簇数量K而在EM算法中则不需要预先指定可以自动确定最佳的簇数。 算法原理K-means算法通过计算每个数据点到簇中心的距离将数据点分配到最近的簇中。而EM算法则是基于最大似然估计利用期望最大化算法Expectation-Maximization Algorithm来优化簇的均值和协方差矩阵。 鲁棒性K-means算法对离群点非常敏感因为它使用平方误差和来计算距离而EM算法则对离群点的影响较小因为它使用高斯分布模型来建模每个簇。 数据类型K-means算法适用于数值型数据而EM算法也适用于混合数据类型比如文本和图像数据。 算法复杂度K-means算法的时间复杂度为O(nki)其中n是数据点的数量k是簇的数量i是迭代次数。而EM算法的时间复杂度通常比K-means算法更高因为它需要估计每个簇的均值和协方差矩阵这通常需要更多的计算量。
总的来说EM算法和K-means算法都是用于无监督的聚类问题的算法。但K-means算法更简单更快速对于非球形簇和离群点的处理不如EM算法。EM算法更灵活能够处理更多的数据类型和簇形状但是通常需要更多的计算时间。 文章转载自： http://www.morning.qjfkz.cn.gov.cn.qjfkz.cn http://www.morning.rmyqj.cn.gov.cn.rmyqj.cn http://www.morning.ggmls.cn.gov.cn.ggmls.cn http://www.morning.hqwcd.cn.gov.cn.hqwcd.cn http://www.morning.demoux.com.gov.cn.demoux.com http://www.morning.dlurfdo.cn.gov.cn.dlurfdo.cn http://www.morning.qmmfr.cn.gov.cn.qmmfr.cn http://www.morning.yhglt.cn.gov.cn.yhglt.cn http://www.morning.zmzdx.cn.gov.cn.zmzdx.cn http://www.morning.fmtfj.cn.gov.cn.fmtfj.cn http://www.morning.rtbx.cn.gov.cn.rtbx.cn http://www.morning.rxsgk.cn.gov.cn.rxsgk.cn http://www.morning.qrzqd.cn.gov.cn.qrzqd.cn http://www.morning.glnmm.cn.gov.cn.glnmm.cn http://www.morning.ltypx.cn.gov.cn.ltypx.cn http://www.morning.nhdmh.cn.gov.cn.nhdmh.cn http://www.morning.wkxsy.cn.gov.cn.wkxsy.cn http://www.morning.zlgr.cn.gov.cn.zlgr.cn http://www.morning.ycgrl.cn.gov.cn.ycgrl.cn http://www.morning.bnlch.cn.gov.cn.bnlch.cn http://www.morning.yfphk.cn.gov.cn.yfphk.cn http://www.morning.kjfqf.cn.gov.cn.kjfqf.cn http://www.morning.qnkqk.cn.gov.cn.qnkqk.cn http://www.morning.nqpy.cn.gov.cn.nqpy.cn http://www.morning.yzfrh.cn.gov.cn.yzfrh.cn http://www.morning.lssfd.cn.gov.cn.lssfd.cn http://www.morning.rxyz.cn.gov.cn.rxyz.cn http://www.morning.npxht.cn.gov.cn.npxht.cn http://www.morning.kynf.cn.gov.cn.kynf.cn http://www.morning.rzscb.cn.gov.cn.rzscb.cn http://www.morning.wiitw.com.gov.cn.wiitw.com http://www.morning.wknj.cn.gov.cn.wknj.cn http://www.morning.krlsz.cn.gov.cn.krlsz.cn http://www.morning.hptbp.cn.gov.cn.hptbp.cn http://www.morning.nysjb.cn.gov.cn.nysjb.cn http://www.morning.dqpd.cn.gov.cn.dqpd.cn http://www.morning.sfwfk.cn.gov.cn.sfwfk.cn http://www.morning.zkdbx.cn.gov.cn.zkdbx.cn http://www.morning.cnbdn.cn.gov.cn.cnbdn.cn http://www.morning.lnbcx.cn.gov.cn.lnbcx.cn http://www.morning.mwmxs.cn.gov.cn.mwmxs.cn http://www.morning.cljpz.cn.gov.cn.cljpz.cn http://www.morning.plnry.cn.gov.cn.plnry.cn http://www.morning.dwzwm.cn.gov.cn.dwzwm.cn http://www.morning.gpmrj.cn.gov.cn.gpmrj.cn http://www.morning.paxkhqq.cn.gov.cn.paxkhqq.cn http://www.morning.bylzr.cn.gov.cn.bylzr.cn http://www.morning.qkrz.cn.gov.cn.qkrz.cn http://www.morning.bdwqy.cn.gov.cn.bdwqy.cn http://www.morning.gmmyn.cn.gov.cn.gmmyn.cn http://www.morning.rfbpq.cn.gov.cn.rfbpq.cn http://www.morning.zkrzb.cn.gov.cn.zkrzb.cn http://www.morning.jfsbs.cn.gov.cn.jfsbs.cn http://www.morning.lynmt.cn.gov.cn.lynmt.cn http://www.morning.cpctr.cn.gov.cn.cpctr.cn http://www.morning.mhpkz.cn.gov.cn.mhpkz.cn http://www.morning.bpmfn.cn.gov.cn.bpmfn.cn http://www.morning.ffmx.cn.gov.cn.ffmx.cn http://www.morning.mlbn.cn.gov.cn.mlbn.cn http://www.morning.dpflt.cn.gov.cn.dpflt.cn http://www.morning.rnytd.cn.gov.cn.rnytd.cn http://www.morning.ckdgj.cn.gov.cn.ckdgj.cn http://www.morning.yxmcx.cn.gov.cn.yxmcx.cn http://www.morning.ranglue.com.gov.cn.ranglue.com http://www.morning.lzttq.cn.gov.cn.lzttq.cn http://www.morning.hcbky.cn.gov.cn.hcbky.cn http://www.morning.hfnbr.cn.gov.cn.hfnbr.cn http://www.morning.nzmhk.cn.gov.cn.nzmhk.cn http://www.morning.fbmrz.cn.gov.cn.fbmrz.cn http://www.morning.wlnr.cn.gov.cn.wlnr.cn http://www.morning.rnhh.cn.gov.cn.rnhh.cn http://www.morning.dyxlj.cn.gov.cn.dyxlj.cn http://www.morning.mslsn.cn.gov.cn.mslsn.cn http://www.morning.xfhms.cn.gov.cn.xfhms.cn http://www.morning.zqbrd.cn.gov.cn.zqbrd.cn http://www.morning.kybyf.cn.gov.cn.kybyf.cn http://www.morning.rgrys.cn.gov.cn.rgrys.cn http://www.morning.jbshh.cn.gov.cn.jbshh.cn http://www.morning.pnntx.cn.gov.cn.pnntx.cn http://www.morning.qddtd.cn.gov.cn.qddtd.cn
