申请个人网站和企业官网有什么不同,门户网站内容管理系统,做动画 的 网站有哪些内容,在阿里巴巴网站上怎么做贸易目录 关于1 个体与集成2 Boosting3 Bagging与随机森林4 结合策略5 多样性X 案例代码X.1 分类任务-Adaboost-SVMX.1.1 源码X.1.2 数据集#xff08;鸢尾花数据集#xff09;X.1.3 模型效果 X.2 分类任务-随机森林RFX.2.1 源码X.2.2 数据集#xff08;鸢尾花数据集#xff09… 目录 关于1 个体与集成2 Boosting3 Bagging与随机森林4 结合策略5 多样性X 案例代码X.1 分类任务-Adaboost-SVMX.1.1 源码X.1.2 数据集鸢尾花数据集X.1.3 模型效果 X.2 分类任务-随机森林RFX.2.1 源码X.2.2 数据集鸢尾花数据集X.2.3 模型效果 关于
本文是基于西瓜书第八章的学习记录。内容包括个体学习和集成学习集成学习介绍了Boosting方法、Bagging方法和随机森林。还讲解了集成学习的结合策略、多样性分析等等文章附Python实现源码。西瓜书电子版百度网盘分享链接 1 个体与集成
集成学习通过构建并结合多个学习器来完成任务有时也被称为多分类器系统或基于委员会的学习等。集成学习通过结合多个个体学习器来获得比单一学习器更优越的泛化性能。同质集成与异质集成 同质集成集成的是同种类型的个体学习器异质集成集成的是不同类型的个体学习器 基学习器同质集成中的个体学习器也称“基学习器”相应的学习算法称为“基学习算法”获得好的集成的关键个体学习器应“好而不同”即个体学习器要有一定的“准确性”即学习器不能太坏并且要有“多样性”即学习器间具有差异。事实上如何产生好而不同的个体学习器是研究集成学习的核心。集成学习方法分类 个体学习器间存在强依赖关系、必须串行生成的序列化方法代表是Boosting。个体学习器间不存在强依赖关系、可同时生成的并行化方法代表是Bagging和随机森林。 弱学习器 弱学习器的性能略优于随机猜测
2 Boosting
Boosting是一族可以将弱学习器提升为强学习器的算法。这族算法的工作机制类似 从初始训练集训练出一个基学习器根据基学习器的表现对训练样本分布进行调整重复进行直至基学习器数目达到指定值T最终将这T个基学习器进行加权结合 Boosting算法要求基学习器能对特定的数据分布进行学习 重赋权法在训练过程的每一轮中根据样本分布为每个训练样本重新赋予一个权重重采样法对无法接受带权样本的基学习算法可在每一轮学习中根据样本分布对训练集重新进行采样再用重采样而得的样本集对基学习器进行训练
3 Bagging与随机森林 Bagging和随机森林是并行式集成学习方法通过从原始训练集中采样产生不同的子集来训练基学习器。 为了使基学习器具有明显差异一种可能的做法是对训练样本进行采样产生出若干个不同的子集再从每个数据子集中训练出一个基学习器。但是为了保证基学习器效果不是太差可以使用相互有交叠的子集。 Bagging 使用自助采样法采样后放回袋子样本可能被重复采集产生多个训练样本子集每个子集训练出一个基学习器在对预测输出进行结合时Bagging通常对分类任务使用简单投票法对回归任务使用简单平均法.训练一个Bagging集成与直接使用基学习算法训练一个学习器的复杂度同阶与标准AdaBoost只适用于二分类任务不同Bagging能不经修改地用于多分类、回归等任务.自助采样时包外样本的用处当基学习器是决策树时可使用包外样本来辅助剪枝或用于估计决策树中各结点的后验概率以辅助对零训练样本结点的处理当基学习器是神经网络时可使用包外样本来辅助早期停止以减小过拟合风险. 随机森林 RF在以决策树为基学习器构建Bagging集成的基础上进一步在决策树的训练过程中引入了随机属性选择在选择最佳划分属性时先随机选择k个属性构成子集然后从中找到最佳属性这里k控制了随机性的引入程度。推荐 k log 2 d k\log_2d klog2d通过样本扰动和属性扰动增加基学习器的多样性随机森林简单、容易实现、计算开销小令人惊奇的是它在很多现实任务中展现出强大的性能被誉为“代表集成学习技术水平的方法”
4 结合策略
集成学习中的结合策略是将多个基学习器的预测结果结合起来以提高整体性能。 数值型输出平均法 简单平均法直接计算所有基学习器预测结果的平均值加权平均法根据基学习器的权重计算加权平均值加权平均法的权重一般是从训练数据中学习而得现实任务中的训练样本通常不充分或存在噪声这将使得学出的权重不完全可靠。加权平均法未必一定优于简单平均法在个体学习器性能相差较大时宜使用加权平均法而在个体学习器性能相近时宜使用简单平均法 分类型输出投票法 绝对多数投票法得票过半数的类别作为预测结果否则拒绝预测这在可靠性要求较高的学习任务中是一个很好的机制相对多数投票法得票最多的类别作为预测结果加权投票法根据基学习器的权重进行投票虽然分类器估计出的类概率值一般都不太准确但基于类概率进行结合却往往比直接基于类标记进行结合性能更好. 学习法Stacking 当训练数据很多时一种更为强大的结合策略是使用“学习法”即通过另一个学习器来进行结合我们把个体学习器称为初级学习器用于结合的学习器称为次级学习器或元学习器Stacking先从初始数据集训练出初级学习器然后“生成” 一个新数据集用于训练次级学习器。在这个新数据集中初级学习器的输出被当作样例输入特征而初始样本的标记仍被当作样例标记
5 多样性 误差分歧分解个体学习器准确性越高、多样性越大则集成越好。 误差E个体学习器误差的加权均值。分歧A个体学习器的加权分歧值。集成的泛化误差 E E ‾ − A ‾ E\overline{E}-\overline{A} EE−A该式明确提示出个体学习器准确性越高、多样性越大则集成越好。 多样性度量 不合度量 dis (bc) / m值越大表示多样性越大。 相关系数Correlation Coefficient p_ij (ad - bc) / sqrt((ab)(ac)(cd)(bd)))值为0表示分类器无关正值表示正相关负值表示负相关。 Q-统计量Q-Statistic Q (ad - bc) / (ad bc)与相关系数符号相同但值域更宽。 K-统计量K-Statistic K (P1 - P2) / (1 - P2)其中P1是两个分类器取得一致的概率P2是两个分类器偶然达成一致的概率。 多样性增强 数据样本扰动 通过自助采样等方法从初始数据集中产生不同的数据子集训练出不同的个体学习器。数据样本扰动法对“不稳定基学习器”效果好 不稳定基学习器对训练样本敏感如决策树和神经网络。稳定基学习器线性学习器、支持向量机、朴素贝叶斯、k 近邻学习器 输入属性扰动 从初始属性集中抽取出若干个属性子集基于每个属性子集训练一个基学习器。对包含大量冗余属性的数据,在子空间中训练个体学习器不仅能产生多样性大的个体,还会因属性数的减少而大幅节省时间开销 输出表示扰动 对训练样本的类标记稍作变动如“翻转法”随机改变一些训练样本的标记。 算法参数扰动 通过随机设置不同的参数产生差别较大的个体学习器如神经网络的隐层数量和神经元数量 X 案例代码
X.1 分类任务-Adaboost-SVM
X.1.1 源码
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import AdaBoostClassifier
from sklearn.svm import SVC
from sklearn.metrics import confusion_matrix, accuracy_score, classification_report
import seaborn as sns# 1. 加载数据集
iris load_iris()
X, y iris.data, iris.target
print(此时Xy的数据类型为, type(X), type(y), \n)# 2. 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42)
print(此时X_trainy_train的数据类型为, type(X_train), type(y_train), \n)
print(X_train的前10条数据展示)
print(pd.DataFrame(X_train).head(10).to_string(indexFalse, justifyleft), \n)# 3. 构建SVM基分类器并应用AdaBoost算法
base_svc SVC(kernellinear, probabilityTrue, random_state42) # 使用线性核并启用概率预测
model AdaBoostClassifier(estimatorbase_svc, n_estimators50, random_state42)
model.fit(X_train, y_train)# 4. 预测测试集上的目标变量
y_pred model.predict(X_test)# 5. 评估模型性能
accuracy accuracy_score(y_test, y_pred)
print(模型准确率, accuracy)
print(分类报告)
print(classification_report(y_test, y_pred))# 6. 绘制混淆矩阵
conf_matrix confusion_matrix(y_test, y_pred)
plt.figure(figsize(8, 6))
sns.heatmap(conf_matrix, annotTrue, fmtd, cmapBlues, xticklabelsiris.target_names, yticklabelsiris.target_names)
plt.xlabel(Predicted Labels)
plt.ylabel(True Labels)
plt.title(Confusion Matrix for Iris Dataset (AdaBoost with SVM))
plt.tight_layout()
plt.show()# 可选将结果保存到DataFrame中以便进一步分析
results pd.DataFrame({Actual: y_test,Predicted: y_pred
})
print(模型预测结果)
print(results.head())
X.1.2 数据集鸢尾花数据集 鸢尾花数据集是机器学习领域中最著名的数据集之一常被用于分类算法的测试和演示。 概览 样本数量150个样本特征数量4个特征标签种类数量3个类别每个类别有50个样本 特征描述 萼片长度 (sepal length)花萼的长度单位为厘米。萼片宽度 (sepal width)花萼的宽度单位为厘米。花瓣长度 (petal length)花瓣的长度单位为厘米。花瓣宽度 (petal width)花瓣的宽度单位为厘米。 目标变量是鸢尾花的种类共有三种 Iris setosaIris versicolorIris virginica 使用 可以使用 sklearn.datasets.load_iris() 函数来加载这个数据集并查看其详细信息。
X.1.3 模型效果 X.2 分类任务-随机森林RF
X.2.1 源码
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import confusion_matrix, accuracy_score, classification_report
import seaborn as sns# 1. 加载数据集
iris load_iris()
X, y iris.data, iris.target
print(此时Xy的数据类型为, type(X), type(y), \n)# 2. 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42)
print(此时X_trainy_train的数据类型为, type(X_train), type(y_train), \n)
print(X_train的前10条数据展示)
print(pd.DataFrame(X_train).head(10).to_string(indexFalse, justifyleft), \n)# 3. 构建并训练随机森林分类模型
model RandomForestClassifier(n_estimators100, random_state42) # 使用100棵树的随机森林
model.fit(X_train, y_train)# 4. 预测测试集上的目标变量
y_pred model.predict(X_test)# 5. 评估模型性能
accuracy accuracy_score(y_test, y_pred)
print(模型准确率, accuracy)
print(分类报告)
print(classification_report(y_test, y_pred))# 6. 绘制混淆矩阵
conf_matrix confusion_matrix(y_test, y_pred)
plt.figure(figsize(8, 6))
sns.heatmap(conf_matrix, annotTrue, fmtd, cmapBlues, xticklabelsiris.target_names, yticklabelsiris.target_names)
plt.xlabel(Predicted Labels)
plt.ylabel(True Labels)
plt.title(Confusion Matrix for Iris Dataset (Random Forest))
plt.tight_layout()
plt.show()# 可选将结果保存到DataFrame中以便进一步分析
results pd.DataFrame({Actual: y_test,Predicted: y_pred
})
print(模型预测结果)
print(results.head())
X.2.2 数据集鸢尾花数据集 鸢尾花数据集是机器学习领域中最著名的数据集之一常被用于分类算法的测试和演示。 概览 样本数量150个样本特征数量4个特征标签种类数量3个类别每个类别有50个样本 特征描述 萼片长度 (sepal length)花萼的长度单位为厘米。萼片宽度 (sepal width)花萼的宽度单位为厘米。花瓣长度 (petal length)花瓣的长度单位为厘米。花瓣宽度 (petal width)花瓣的宽度单位为厘米。 目标变量是鸢尾花的种类共有三种 Iris setosaIris versicolorIris virginica 使用 可以使用 sklearn.datasets.load_iris() 函数来加载这个数据集并查看其详细信息。
X.2.3 模型效果 文章转载自： http://www.morning.rfxg.cn.gov.cn.rfxg.cn http://www.morning.bsrcr.cn.gov.cn.bsrcr.cn http://www.morning.jtmrx.cn.gov.cn.jtmrx.cn http://www.morning.hryhq.cn.gov.cn.hryhq.cn http://www.morning.dnpft.cn.gov.cn.dnpft.cn http://www.morning.mqwnp.cn.gov.cn.mqwnp.cn http://www.morning.yrflh.cn.gov.cn.yrflh.cn http://www.morning.nfdty.cn.gov.cn.nfdty.cn http://www.morning.ggnrt.cn.gov.cn.ggnrt.cn http://www.morning.ryjl.cn.gov.cn.ryjl.cn http://www.morning.clpfd.cn.gov.cn.clpfd.cn http://www.morning.bssjp.cn.gov.cn.bssjp.cn http://www.morning.sjzsjsm.com.gov.cn.sjzsjsm.com http://www.morning.fylsz.cn.gov.cn.fylsz.cn http://www.morning.hlfgm.cn.gov.cn.hlfgm.cn http://www.morning.lywys.cn.gov.cn.lywys.cn http://www.morning.bfbl.cn.gov.cn.bfbl.cn http://www.morning.zlnf.cn.gov.cn.zlnf.cn http://www.morning.hkshy.cn.gov.cn.hkshy.cn http://www.morning.cwgn.cn.gov.cn.cwgn.cn http://www.morning.dfndz.cn.gov.cn.dfndz.cn http://www.morning.lszjq.cn.gov.cn.lszjq.cn http://www.morning.zwppm.cn.gov.cn.zwppm.cn http://www.morning.nhzxr.cn.gov.cn.nhzxr.cn http://www.morning.tdzxy.cn.gov.cn.tdzxy.cn http://www.morning.jgrjj.cn.gov.cn.jgrjj.cn http://www.morning.tpnxr.cn.gov.cn.tpnxr.cn http://www.morning.tnhg.cn.gov.cn.tnhg.cn http://www.morning.rptdz.cn.gov.cn.rptdz.cn http://www.morning.xbhpm.cn.gov.cn.xbhpm.cn http://www.morning.qnksk.cn.gov.cn.qnksk.cn http://www.morning.nsmyj.cn.gov.cn.nsmyj.cn http://www.morning.paoers.com.gov.cn.paoers.com http://www.morning.wjpsn.cn.gov.cn.wjpsn.cn http://www.morning.nqcwz.cn.gov.cn.nqcwz.cn http://www.morning.pigcamp.com.gov.cn.pigcamp.com http://www.morning.szoptic.com.gov.cn.szoptic.com http://www.morning.jqsyp.cn.gov.cn.jqsyp.cn http://www.morning.gslz.com.cn.gov.cn.gslz.com.cn http://www.morning.smdnl.cn.gov.cn.smdnl.cn http://www.morning.khpgd.cn.gov.cn.khpgd.cn http://www.morning.lztrt.cn.gov.cn.lztrt.cn http://www.morning.dbfp.cn.gov.cn.dbfp.cn http://www.morning.qxkcx.cn.gov.cn.qxkcx.cn http://www.morning.mnwmj.cn.gov.cn.mnwmj.cn http://www.morning.szzxqc.com.gov.cn.szzxqc.com http://www.morning.lhldx.cn.gov.cn.lhldx.cn http://www.morning.pkmw.cn.gov.cn.pkmw.cn http://www.morning.qzfjl.cn.gov.cn.qzfjl.cn http://www.morning.dnbhd.cn.gov.cn.dnbhd.cn http://www.morning.wqcbr.cn.gov.cn.wqcbr.cn http://www.morning.nzqqd.cn.gov.cn.nzqqd.cn http://www.morning.pybqq.cn.gov.cn.pybqq.cn http://www.morning.brmbm.cn.gov.cn.brmbm.cn http://www.morning.gcbhh.cn.gov.cn.gcbhh.cn http://www.morning.nkjkh.cn.gov.cn.nkjkh.cn http://www.morning.kltsn.cn.gov.cn.kltsn.cn http://www.morning.dwrbn.cn.gov.cn.dwrbn.cn http://www.morning.xcjbk.cn.gov.cn.xcjbk.cn http://www.morning.sggzr.cn.gov.cn.sggzr.cn http://www.morning.nppml.cn.gov.cn.nppml.cn http://www.morning.nkkr.cn.gov.cn.nkkr.cn http://www.morning.wdlg.cn.gov.cn.wdlg.cn http://www.morning.lmdkn.cn.gov.cn.lmdkn.cn http://www.morning.wgdnd.cn.gov.cn.wgdnd.cn http://www.morning.ycwym.cn.gov.cn.ycwym.cn http://www.morning.tndhm.cn.gov.cn.tndhm.cn http://www.morning.nkjnr.cn.gov.cn.nkjnr.cn http://www.morning.wlqll.cn.gov.cn.wlqll.cn http://www.morning.jlnlr.cn.gov.cn.jlnlr.cn http://www.morning.zpfr.cn.gov.cn.zpfr.cn http://www.morning.lmcrc.cn.gov.cn.lmcrc.cn http://www.morning.dmnqh.cn.gov.cn.dmnqh.cn http://www.morning.ksjmt.cn.gov.cn.ksjmt.cn http://www.morning.dhmll.cn.gov.cn.dhmll.cn http://www.morning.tmrjb.cn.gov.cn.tmrjb.cn http://www.morning.kcxtz.cn.gov.cn.kcxtz.cn http://www.morning.wkmyt.cn.gov.cn.wkmyt.cn http://www.morning.xwlmg.cn.gov.cn.xwlmg.cn http://www.morning.ygbq.cn.gov.cn.ygbq.cn
