免费做请帖的网站,用php做网站的优势,在制作网站前 不需要急于做的工作是,女生学前端还是后端概述
集成学习(Ensemble learning)就是将多个机器学习模型组合起来#xff0c;共同工作以达到优化算法的目的。具体来讲#xff0c;集成学习可以通过多个学习器相结合#xff0c;来获得比单一学习器更优越的泛化性能。集成学习的一般步骤为#xff1a;1.生产一组“个体学习…概述
集成学习(Ensemble learning)就是将多个机器学习模型组合起来共同工作以达到优化算法的目的。具体来讲集成学习可以通过多个学习器相结合来获得比单一学习器更优越的泛化性能。集成学习的一般步骤为1.生产一组“个体学习器(individual learner)”2.用某种策略将他们结合起来。
个体学习器通常由一个现有的学习算法从训练数据产生。在同质集成系统中个体学习器的类型相同中个体学习器又被称为“基学习器”而在异质集成系统中个体学习器的类型不同中个体学习器又被称为“组建学习(component learner)”。
集成学习的集成框架主要有BaggingBoosting和Stacking其中Bagging和Boosting为同质集成而Stacking为异质集成。 Bagging可以减少弱分类器的方差而Boosting 可以减少弱分类器的偏差; Bagging就是再取样 (Bootstrap) 然后在每个样本上训练出来的模型取平均所以是降低模型的variance. Bagging 比如Random Forest 这种先天并行的算法都有这个效果。 Boosting 则是迭代算法每一次迭代都根据上一次迭代的预测结果对样本进行加权所以随着迭代不断进行误差会越来越小所以模型的 bias 会不断降低。这种算法无法并行如Adaptive Boosting. 多样性增强的几种方法
一般的做法主要是对数据样本输入属性输出表示算法参数进行扰动。
1数据样本扰动 这个其实主要就是采样比如在bagging中的自助采样法数据样本扰动对决策树神经网络这样对数据样本变化非常敏感的学习算法非常有效但是对支持向量机朴素贝叶斯k近邻这些对样本扰动不敏感的算法没用。对此类算法作为基学习器进行集成时往往需要使用输入属性扰动等机制。2输入属性扰动 这个就是从样本的特征空间中产生不同的特征子集。这样训练出来的基学习器必然是不同的。在包含大量冗余属性的数据在特征子集中训练基学习器不仅能产生多样性大的个体还会因属性数的减少而大幅节省时间开销同时由于冗余属性多减少一些冗余属性后训练出来的基学习器性能也不会差。若数据只包含少量属性或者冗余属性少则不适宜使用输入属性扰动法。3输出表示扰动 这类做法的基本思路是对输出表示进行操纵以增强多样性。比如可对训练样本的label稍作变动比如“翻转法”随机改变一些训练样本的标记也可以对输出表示进行转化如“输出调制法”将分类输出转化为回归输出后构建基学习器。这一类貌似用的不多。4算法参数扰动 这个在现在深度学习比赛中很常见主要是神经网络有很多参数可以设置不同的参数往往可以产生差别比较大的基学习器。
Bagging
核心思想并行地训练一系列各自独立的同类模型然后再将各个模型的输出结果按照某种策略进行聚合。例如分类中可以采用投票策略回归中可以采用平均策略;Bagging主要分为两个阶段 步骤 Boostrap阶段即采用有放回的采样方式将训练集分为n个子样本集并用基学习器对每组样本分布进行训练得到n个基模型Aggregating阶段将上一个阶段训练得到的n个基模型组合起来共同做决策。在分类任务中可采用投票法比如相对多数投票法将结果预测为得票最多的类别。而在回归任务中可采用平均法即将每个基模型预测得到的结果进行简单平均或加权平均来获得最终的预测结果。 Bagging就是再取样 (Bootstrap) 然后在每个样本上训练出来的模型取平均所以是降低模型的variance.Bagging 比如Random Forest 这种先天并行的算法都有这个效果
随机森林Random Forest
1. 算法原理
随机森林Random Forest是一种基于决策树的集成学习方法。它通过构建多个决策树并将它们的预测结果进行投票分类问题或平均回归问题以获得最终的预测结果。随机森林的构建过程包括两个关键步骤自助采样bootstrap sampling和特征随机选择。自助采样用于生成不同的训练数据子集每个子集用于构建一个决策树。特征随机选择则在每个决策树节点上随机选择一部分特征进行划分以增加决策树的多样性。这两个步骤共同提高了随机森林的泛化能力和鲁棒性。
2.优缺点
优点 a) 随机森林具有较高的预测准确性通常比单个决策树的性能要好。 b) 能够有效地处理高维数据和大量特征。 c) 对噪声和异常值具有较强的鲁棒性。 d) 可以进行特征重要性评估有助于特征选择。 e) 并行化能力强易于实现并行计算。 缺点 a) 相比单个决策树随机森林的模型可解释性较差。 b) 训练和预测时间可能较长尤其是在大数据集上。 c) 对于某些不平衡的数据集随机森林的性能可能不尽如人意。
3.适用场景
随机森林适用于以下场景 a) 需要提高预测准确性的分类和回归问题。 b) 数据集具有高维特征或特征数量较多。 c) 数据集中存在噪声和异常值。 随机森林在许多实际应用中表现出较好的性能尤其是在提高预测准确性方面。然而随机森林的可解释性较差且在大数据集上训练和预测时间可能较长。在面临这些问题时可以考虑使用其他集成方法如梯度提升树Gradient Boosting Trees等。
RandomForestClassifier分类树
RandomForestRegressor(n_estimators100, criterionmse, max_depthNone, min_samples_split2, min_samples_leaf1, min_weight_fraction_leaf0.0, max_featuresauto, max_leaf_nodesNone, min_impurity_decrease0.0, min_impurity_splitNone, bootstrapTrue, oob_scoreFalse, n_jobsNone, random_stateNone, verbose0, warm_startFalse, ccp_alpha0.0, max_samplesNone)重要的参数 n_estimators随机森林中决策树的个数默认为 100。criterion随机森林中决策树的算法可选的有两种1gini基尼系数也就是 CART 算法为默认值2entropy信息熵也就是 ID3 算法。max_depth决策树的最大深度。 RandomForestRegressor回归树
RandomForestRegressor(n_estimators100, criterionmse, max_depthNone, min_samples_split2, min_samples_leaf1, min_weight_fraction_leaf0.0, max_featuresauto, max_leaf_nodesNone, min_impurity_decrease0.0, min_impurity_splitNone, bootstrapTrue, oob_scoreFalse, n_jobsNone, random_stateNone, verbose0, warm_startFalse, ccp_alpha0.0, max_samplesNone)
回归树中的参数与分类树中的参数基本相同但 criterion 参数的取值不同。 在回归树中criterion 参数有下面两种取值
mse表示均方误差算法为默认值。mae表示平均误差算法。
Boosting
Boosting由于各基学习器之间存在强依赖关系因此只能串行处理也就是Boosting实际上是个迭代学习的过程。 Boosting的工作机制为先从初始训练集中训练出一个基学习器再根据基学习器的表现对训练样本分布进行调整比如增大被误分样本的权重减小被正确分类样本的权重使得先前基学习器做错的样本在后续的训练过程中受到更多关注然后基于调整后的样本分布来训练下一个基学习器如此重复直到基学习器数目达到事先自定的值T然后将这T 个基学习器进行加权结合比如错误率小的基学习器权重大错误率大的基学习器权重小这样做决策时错误率小的基本学习器影响更大 Boosting算法主要有AdaBoost(Adaptive Boost)自适应提升算法和Gradient Boosting梯度提升算法。最主要的区别在于两者如何识别和解决模型的问题。AdaBoost用错分的数据样本来识别问题通过调整错分数据样本的权重来改进模型。Gradient Boosting主要通过负梯度来识别问题通过计算负梯度来改进模型。
AdaBoost
核心思想串行地训练一系列前后依赖的同类模型即后一个模型用来对前一个模型的输出结果进行纠正。Boosting算法是可以将弱学习器提升为强学习器的学习算法。 步骤先从初始训练集训练出一个基学习器再根据基学习器的表现对训练样本进行调整使得先前基学习器做错的训练样本在后续受到更多的关注然后基于调整后的样本分布来训练下一个基学习器如此重复进行。直至基学习器数目达到实现指定的值n最终将这n个基学习器进行结合。 Boosting 则是迭代算法每一次迭代都根据上一次迭代的预测结果对样本进行加权所以随着迭代不断进行误差会越来越小所以模型的 bias 会不断降低。这种算法无法并行如Adaptive Boosting
1. 算法原理
AdaBoostAdaptive Boosting是一种集成学习方法通过多次迭代训练一系列弱学习器并加权组合以提高分类性能。在每次迭代过程中对错误分类的样本增加权重使得后续的弱学习器更关注这些样本。最后将所有弱学习器的预测结果进行加权投票得到最终分类结果。
2.优缺点
a) 优点 i. 可以提高模型的准确性和泛化能力。 ii. 算法简单易于实现。 iii. 不容易过拟合。 b) 缺点 i. 对异常值和噪声敏感可能导致性能下降。 ii. 训练过程需要依次进行较难并行化。
3.适用场景
AdaBoost适用于以下场景 a) 当基学习器性能较弱时可以通过集成提高性能。 b) 适用于二分类问题尤其是需要提高分类性能的场景。 AdaBoost在人脸检测、文本分类、客户流失预测等领域有广泛应用。
GBDT
核心思想
梯度提升决策树Gradient Boosting Decision TreeGBDT 是将多个弱学习器通常是决策树组合成一个强大的预测模型。具体而言GBDT的定义如下 初始化首先GBDT使用一个常数通常是目标变量的平均值作为初始预测值。这个初始预测值代表了我们对目标变量的初始猜测。 迭代训练GBDT是一个迭代算法通过多轮迭代来逐步改进模型。在每一轮迭代中GBDT都会训练一棵新的决策树目标是减少前一轮模型的残差或误差。残差是实际观测值与当前模型预测值之间的差异新的树将学习如何纠正这些残差。 集成最终GBDT将所有决策树的预测结果相加得到最终的集成预测结果。这个过程使得模型能够捕捉数据中的复杂关系从而提高了预测精度。 GBDT的核心原理在于不断迭代每一轮迭代都尝试修正前一轮模型的错误逐渐提高模型的预测性能。
优缺点
优点
可以灵活处理各种类型的数据包括连续值和离散值。在相对少的调参时间情况下预测的准备率也可以比较高。这个是相对SVM来说的。 3使用一些健壮的损失函数对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。很好的利用了弱分类器进行级联。充分考虑的每个分类器的权重。 6不需要归一化。树模型都不需要梯度下降算法才需要 6处理非线性关系
缺点 1由于弱学习器之间存在依赖关系难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。 2不适合高维稀疏特征
适用场景
GBDT 可以适用于回归问题线性和非线性 GBDT 也可用于二分类问题设定阈值大于为正否则为负和多分类问题。
XGBoost
1. 算法原理
XGBoosteXtreme Gradient Boosting是基于梯度提升Gradient Boosting的决策树集成学习方法。XGBoost通过加入正则化项降低模型复杂度提高泛化能力。同时XGBoost采用了并行计算和近似算法显著提高了训练速度。 XGBoost是基于GBDT 的一种改进算法 列抽样column subsampling。xgboost借鉴了随机森林的做法支持列抽样不仅能降低过拟合还能减少计算这也是xgboost异于传统gbdt的一个特性。 Shrinkage缩减相当于学习速率xgboost中的eta。xgboost在进行完一次迭代后会将叶子节点的权重乘上该系数主要是为了削弱每棵树的影响让后面有更大的学习空间。实际应用中一般把eta设置得小一点然后迭代次数设置得大一点。传统GBDT的实现也有学习速率 对缺失值的处理。对于特征的值有缺失的样本xgboost可以自动学习出它的分裂方向。
2.优缺点
优点 i. 高效的训练速度支持并行计算。 ii. 高准确率通过正则化降低过拟合风险。 iii. 支持自定义损失函数和评估指标。 iv. 内置特征重要性排序功能。 缺点 i. 超参数调优较为复杂。 ii. 需要较多的计算资源。
3.适用场景
XGBoost在以下场景表现优异 a) 大规模数据集。 b) 需要高准确率的分类和回归任务。 c) 特征选择。 XGBoost在Kaggle竞赛中广泛应用获得了多次胜利。
LightGBM
LightGBM是一种基于梯度提升树的机器学习算法它通过使用基于直方图的算法和带有按叶子节点分割的决策树来提高训练和预测的效率。
算法原理
基于直方图的算法LightGBM使用了一种基于直方图的算法来处理数据。它将数据按特征值进行离散化构建直方图并对其进行优化从而减少了内存消耗和计算时间。 基于按叶子节点分割的决策树传统的梯度提升树算法在每个节点上都尝试所有特征的切分点而LightGBM在构建决策树时采用了按叶子节点分割的策略。这样可以减少计算量并且更容易处理高维稀疏特征。 LightGBM也是基于GBDT的改进算法
优缺点
优点 高效性LightGBM具有高效的训练和预测速度尤其在处理大规模数据集时表现出色。 低内存消耗由于使用了基于直方图的算法和按叶子节点分割的决策树LightGBM能够减少内存消耗适用于内存有限的环境。 高准确性LightGBM通过优化算法和特征选择等方法提高了模型的准确性。 缺点 对噪声敏感LightGBM在处理噪声较大的数据时可能会过拟合需要进行适当的正则化。 参数调优LightGBM有一些需要调优的参数不同的参数组合可能会导致不同的效果需要进行合适的参数调优。
注意事项 数据预处理对数据进行清洗、缺失值处理和特征工程等预处理步骤以提高模型的泛化能力。 参数调优通过交叉验证等方法选择合适的参数组合以获得更好的模型性能。 提前停止在训练过程中使用早期停止法避免模型过拟合。 特征重要性评估通过分析模型输出的特征重要性可以帮助理解数据和模型之间的关系指导特征选择和特征工程。 总体而言LightGBM是一种高效、低内存消耗且具有准确性的机器学习算法在处理大规模数据集和高维稀疏特征方面具有优势。但需要注意参数调优和模型过拟合问题。 参数设置
AdaBoost
class sklearn.ensemble.AdaBoostClassifier(base_estimatorNone, n_estimators50, learning_rate1.0, algorithmSAMME.R, random_stateNone)base_estimator:基分类器默认是决策树在该分类器基础上进行boosting理论上可以是任意一个分类器但是如果是其他分类器时需要指明样本权重。n_estimators基分类器提升循环次数默认是50次这个值过大模型容易过拟合值过小模型容易欠拟合。learning_rate学习率表示梯度收敛速度默认为1如果过大容易错过最优值如果过小则收敛速度会很慢该值需要和n_estimators进行一个权衡当分类器迭代次数较少时学习率可以小一些当迭代次数较多时学习率可以适当放大。algorithmboosting算法也就是模型提升准则有两种方式SAMME, 和SAMME.R两种默认是SAMME.R两者的区别主要是弱学习器权重的度量前者是对样本集预测错误的概率进行划分的后者是对样本集的预测错误的比例即错分率进行划分的默认是用的SAMME.R。random_state随机种子设置。 GBDT
class sklearn.ensemble.GradientBoostingClassifier(*, lossdeviance, learning_rate0.1, n_estimators100, subsample1.0,
criterionfriedman_mse, min_samples_split2, min_samples_leaf1, min_weight_fraction_leaf0.0, max_depth3,
min_impurity_decrease0.0, min_impurity_splitNone, initNone, random_stateNone, max_featuresNone,
verbose0, max_leaf_nodesNone, warm_startFalse, presortdeprecated, validation_fraction0.1,
n_iter_no_changeNone, tol0.0001, ccp_alpha0.0)GBDTGradient Boosting Decision Tree是一种基于梯度提升的集成学习算法它使用决策树作为弱学习器通过迭代地拟合残差来提高预测性能。GBDT 的主要参数有 n_estimators也就是弱学习器的最大迭代次数或者说最大的弱学习器的个数。一般来说n_estimators太小容易欠拟合n_estimators太大又容易过拟合一般选择一个适中的数值。默认是100。在实际调参的过程中我们常常将n_estimators和下面介绍的参数learning_rate一起考虑learning_ratefloat认 0.1,学习率缩小了每棵树的贡献learning_rate。在learning_rate和n_estimators之间需要权衡推荐的候选值为[0.01, 0.015, 0.025, 0.05, 0.1]subsample子采样取值为(0,1]。注意这里的子采样和随机森林不一样随机森林使用的是放回抽样而这里是不放回抽样。如果取值为1则全部样本都使用等于没有使用子采样。如果取值小于1则只有一部分样本会去做GBDT的决策树拟合。选择小于1的比例可以减少方差即防止过拟合但是会增加样本拟合的偏差因此取值不能太低。推荐在 [0.5, 0.8] 之间默认是1.0即不使用子采样 loss即我们GBDT算法中的损失函数。分类模型和回归模型的损失函数是不一样的。1对于分类模型有对数似然损失函数deviance和指数损失函数exponential两者输入选择。默认是对数似然损失函数deviance。2对于回归模型有均方差ls, 绝对损失lad, Huber损失huber和分位数损失“quantile”。默认是均方差ls。一般来说如果数据的噪音点不多用默认的均方差ls比较好。如果是噪音点较多则推荐用抗噪音的损失函数huber。而如果我们需要对训练集进行分段预测的时候则采用“quantile”。init计量或“零”默认无,一个估计器对象用于计算初始预测。 init必须提供fit和predict_proba。如果为“零”则初始原始预测设置为零。默认情况下使用 DummyEstimator预测类优先级max_depthint默认 3,各个回归估计量的最大深度。最大深度限制了树中节点的数量。调整此参数以获得最佳性能最佳值取决于输入变量的相互作用。也就是那个树有多少层一般越多越容易过拟合min_samples_splitint或float默认为2,拆分内部节点所需的最少样本数如果为int则认为min_samples_split是最小值。如果为floatmin_samples_split则为分数 是每个拆分的最小样本数。ceil(min_samples_split * n_samples)min_samples_leaf int或float默认值 1,在叶节点处所需的最小样本数。仅在任何深度的分裂点在min_samples_leaf左分支和右分支中的每个分支上至少留下训练样本时才考虑。这可能具有平滑模型的效果尤其是在回归中。如果为int则认为min_samples_leaf是最小值。如果为floatmin_samples_leaf则为分数 是每个节点的最小样本数。ceil(min_samples_leaf * n_samples)min_weight_fraction_leaffloat默认值 0.0,在所有叶节点处所有输入样本的权重总和中的最小加权分数。如果未提供sample_weight则样本的权重相等。min_impurity_decrease浮动默认值 0.0如果节点分裂会导致杂质的减少大于或等于该值则该节点将被分裂min_impurity_split float默认无提前停止树木生长的阈值。如果节点的杂质高于阈值则该节点将分裂否则为叶subsample用于训练每个弱学习器的样本比例。减小该参数可以降低方差但也可能增加偏差。max_features节点分裂时参与判断的最大特征数用于分裂每个决策树节点的特征数量。减小该参数可以降低过拟合的风险但也可能降低模型的表达能力。int个数float占所有特征的百分比auto所有特征数的开方sqrt所有特征数的开方log2所有特征数的log2值None等于所有特征数。 XGBoost
XGBoostExtreme Gradient Boosting是一种优化的 GBDT 实现它使用了更高效的数据结构和并行计算同时引入了正则化项和剪枝策略来防止过拟合。XGBoost 的主要参数有 n_estimators同 GBDT。learning_rate同 GBDT。max_depth同 GBDT。min_child_weight决策树叶节点的最小权重和相当于 GBDT 中的 min_samples_leaf 乘以样本权重。增加该参数可以防止过拟合但也可能导致欠拟合。subsample同 GBDT。colsample_bytree相当于 GBDT 中的 max_features表示用于训练每棵树的特征比例。减小该参数可以降低过拟合的风险但也可能降低模型的表达能力。reg_alphaL1 正则化项的系数用于惩罚模型的复杂度。增加该参数可以使模型更稀疏但也可能损失一些信息。推荐的候选值为[0, 0.01~0.1, 1]reg_lambdaL2 正则化项的系数用于惩罚模型的复杂度。增加该参数可以防止过拟合但也可能降低模型的灵活性。推荐的候选值为[0, 0.1, 0.5, 1] LightGBM
LightGBMLight Gradient Boosting Machine是一种基于梯度提升的高效的分布式机器学习框架它使用了基于直方图的算法和基于叶子的生长策略可以大大提高训练速度和减少内存消耗。LightGBM 的主要参数有 n_estimators同 GBDT。learning_rate同 GBDT。num_leaves决策树的最大叶子数相当于 GBDT 中的 max_depth 的指数倍。增加该参数可以增加模型的复杂度和拟合程度但也可能导致过拟合。min_child_samples同 GBDT 中的 min_samples_leaf。subsample同 GBDT。colsample_bytree同 XGBoost。reg_alpha同 XGBoost。reg_lambda同 XGBoost。 Stacking
Stacking的核性思想是并行地训练一系列各自独立的不同类模型然后通过训练一个元模型(meta-model)来将各个模型输出结果进行结合。Stacking也可以分为两个阶段
分别采用全部的训练样本来训练n个组件模型要求这些个体学习器必须异构的比如可以分别是线性学习器SVM决策树模型和深度学习模型。 训练一个元模型(meta-model)来将各个组件模型的输出结果进行结合具体过程就是将各个学习器在训练集上得到的预测结果作为训练特征和训练集的真实结果组成新的训练集然后用这个新组成的训练集来训练一个元模型。这个元模型可以是线性模型或者树模型。
特征选择
RF、GBDT、XGboost都可以做特征选择属于特征选择中的嵌入式方法在用sklearn的时候经常用到feature_importances_ 来做特征筛选分析gbdt的源码发现来源于每个base_estimator的决策树的 feature_importances_ 决策树的feature_importances_impurity就是gini值weighted_n_node_samples 就是各个节点的加权样本数最后除以根节点nodes[0].weighted_n_node_samples的总样本数。最后还要归一化处理。
from sklearn import ensemble
#grd ensemble.GradientBoostingClassifier(n_estimators30)
grd ensemble.RandomForestClassifier(n_estimators30)
grd.fit(X_train,y_train)
grd.feature_importances_计算特征重要性方法
首先目前计算特征重要性计算方法主要有两个方面
1训练过程中计算
训练过程中通过记录特征的分裂总次数、总/平均信息增益来对特征重要性进行量化。例如实际工程中我们会用特征在整个GBDT、XGBoost里面被使用的次数或者带来的总/平均信息增益来给特征重要度打分最后进行排序。由于本身Ensemble模型在选择特征分裂时带有一定随机性一般会跑多个模型然后把特征重要性求平均后排序。
作为单个决策树模型在模型建立时实际上是寻找到某个特征合适的分割点。这个信息可以作为衡量所有特征重要性的一个指标。
基本思路如下 如果一个特征被选为分割点的次数越多那么这个特征的重要性就越强。这个理念可以被推广到集成算法中只要将每棵树的特征重要性进行简单的平均即可。
分别根据特征1和特征4进行分割显然x1出现的次数最多这里不考虑先分割和后分割的情况只考虑每次分割属性出现的次数。 计算得 x1的特征重要度出现在2棵树上两棵树一共分裂了6次x1出现了3次。 x1特征重要度 3/6 1/2 x2的特征重要度 4/6 2/3 x3的特征重要度 3/6 1/2 x4的特征重要度: 出现在1棵树上一个树分裂了3次x4出现了1次。 x4的特征重要度 1/3
根据特征重要度进行特征选择。
2训练后使用OOBOut of Bag数据计算
第二种方式是训练好模型之后用Out of Bag或称Test数据进行特征重要性的量化计算。具体来说先用训练好的模型对OOB数据进行打分计算出AUC或其他业务定义的评估指标接着对OOB数据中的每个特征
1随机shuffle当前特征的取值2重新对当前数据进行打分计算评估指标3计算指标变化率 按照上面方式对每个特征都会得到一个变化率最后按照变化率排序来量化特征重要性。 延伸到 DNN 对特征重要性判定 DNN不像Boosting这类模型那样存在所谓的分裂次数与信息增益就需要使用第二种方式对每个特征进行随机shuffle观察模型指标的变化最后按照变化率进行排序。比如AUC下滑率下滑的越多说明当前这个指标越重要。当然实际操作中需要结合业务经验先指定一个候选变量池对这部分变量计算重要度不然计算开销太大。
随机森林Random Forest 袋外数据错误率可参考OOB特征选择方法 RF的数据是boostrap的有放回采样形成了袋外数据。因此可以采用袋外数据OOB错误率进行特征重要性的评估。 袋外数据错误率定义为袋外数据自变量值发生轻微扰动后的分类正确率与扰动前分类正确率的平均减少量。 1对于每棵决策树利用袋外数据进行预测将袋外数据的预测误差记录下来其每棵树的误差为vote1,vote2,…,voteb 2随机变换每个预测变量从而形成新的袋外数据再利用袋外数据进行验证其每个变量的误差是votel1,votel2,…votelb 基尼指数和GBDT的方法相同
梯度提升树GBDT
基尼指数
在sklearn中GBDT和RF的特征重要性计算方法是相同的都是基于单棵树计算每个特征的重要性探究每个特征在每棵树上做了多少的贡献再取个平均值。
XGboost
根据结构分数的增益情况计算出来选择哪个特征作为分割点,而某个特征的重要性就是它在所有树中出现的次数之和。也就是说一个属性越多的被用来在模型中构建决策树它的重要性就相对越高
xgboost实现中Booster类get_score方法输出特征重要性其中importance_type参数支持三种特征重要性的计算方法
importance_typeweight默认the number of times a feature is used to split the data across all trees. 特征重要性使用特征在所有树中作为划分属性的次数。简单来说就是在子树模型分裂时用到的特征次数。这里计算的是所有的树importance_typegainis the average gain of splits which use the feature. 特征重要性使用特征在作为划分属性带来的平均增益。特征重要性使用特征在作为划分属性时loss平均的降低量。importance_typecoveris the average coverage of splits which use the feature where coverage is defined as the number of samples affected by the split. 使用该特作为分割影响的平均样本数。——可以理解为被分到该节点的样本的二阶导数之和而特征度量的标准就是平均的coverage值。 特征重要性使用特征在作为划分属性时对样本的覆盖度。 importance_typetotal_gain: the total gain across all splits the feature is used in. importance_typetotal_cover: the total coverage across all splits the feature is used in weight 将给予数值特征更高的值因为它的变数越多树分裂时可切割的空间越大。所以这个指标会掩盖掉重要的枚举特征。 gain 用到了熵增的概念它可以方便的找出最直接的特征。即如果某个特征的下的0在label下全是0则这个特征一定会排得靠前。 cover 对于枚举特征会更友好。同时它也没有过度拟合目标函数不受目标函数的量纲影响。 Lightgbm
split: 特征重要性使用特征在所有树种作为划分属性的次数 gain: 使用该特征作为分割带来的总增益
各种算法区别
GBDT和Xgboost的区别
① 基分类器的选择 传统GBDT以CART作为基分类器XGBoost还支持线性分类器这个时候XGBoost相当于带L1和L2正则化项的逻辑斯蒂回归分类问题或者线性回归回归问题。② 梯度信息 传统GBDT只引入了一阶导数信息Xgboost引入了一阶导数和二阶导数信息其对目标函数引入了二阶近似求得解析解, 用解析解作为Gain来建立决策树, 使得目标函数最优Gain求到的是解析解相比于 GBDT其拟合方向更准、速度更快。另外XGBoost工具支持自定义损失函数只要函数可一阶和二阶求导。③ 正则项 Xgboost引入了正则项部分这是传统GBDT中没有的。加入正则项可以控制模型的复杂度防止过拟合。④ 特征采样 Xgboost引入了特征子采样像随机森林那样既可以降低过拟合也可以减少计算。⑤ 节点分裂方式GBDT是用的基尼系数XGBoost是经过优化推导后的。⑥ 并行化 传统GBDT由于树之间的强依赖关系是无法实现并行处理的但是Xgboost支持并行处理XGBoost的并行不是在模型上的并行而是在特征上的并行将特征列排序后以block的形式存储在内存中在后面的迭代中重复使用这个结构。这个block也使得并行化成为了可能其次在进行节点分裂时计算每个特征的增益最终选择增益最大的那个特征去做分割那么各个特征的增益计算就可以开多线程进行。⑦ 除此之外Xgboost实现了分裂点寻找近似算法、缺失值处理、列抽样降低过拟合还能减少计算等包括一些工程上的优化LightGBM是Xgboost的更高效实现。
Random Forest和GBDT区别
① RF的基分类器可以是分类树也可以是回归树GBDT只能是回归树。② RF不同基分类器可以并行GBDT只能串行。③ RF最终结果采用的策略是多数投票、一票否则、加权投票等而GBDT是将所有结果加权累加起来。④ RF对异常值不敏感GBDT对异常值敏感⑤ RF对训练集一视同仁GBDT基于Boosting思想基于权值分类器越弱权值越小⑥ RF主要减少模型方差所以在噪声较大的数据上容易过拟合而GBDT主要较少模型偏差。⑦ RF随机选择样本GBDT使用所有样本。
lightGBM与XGboost区别
1速度和性能 训练速度LightGBM通常比XGBoost更快。这是因为LightGBM采用了基于直方图的算法减少了数据扫描次数提高了效率。 内存使用LightGBM的内存占用通常较低因为它通过直方图方法和特征捆绑技术减少了内存使用。2算法实现 XGBoost采用按层生长的决策树level-wise即每次分裂所有节点。这种方法可以更好地控制树的结构但在大数据集上效率较低。 LightGBM采用按叶子生长的决策树leaf-wise即每次选择增益最大的叶子节点进行分裂。这种方法可以生成更深的树提高模型的准确性但可能导致过拟合需要通过设置最大深度或叶子节点数来控制。3特征处理 类别特征LightGBM能够直接处理类别特征而XGBoost需要对类别特征进行预处理如one-hot编码。 缺失值处理XGBoost和LightGBM都能够自动处理缺失值但LightGBM在处理大规模数据时表现更好。4并行和分布式计算 并行计算XGBoost和LightGBM都支持并行计算但LightGBM在大规模数据集上的分布式计算能力更强。 分布式训练LightGBM能够更好地支持分布式训练适用于超大规模数据集。
GBDT和Adaboost区别
1GBDT与Adboost最主要的区别在于两者如何识别模型的问题。Adaboost用错分数据点来识别问题通过调整错分数据点的权重来改进模型。GBDT通过负梯度来识别问题通过计算负梯度来改进模型。 2AdaBoost 是通过加权的方式来提高模型的准确率即每棵树的权重Amount of say不一样而 GBDT 是通过加法的方式来提高模型的准确率即每棵树的权重Amount of say都是一样的 3AdaBoost 拟合的是原始数据而 GBDT 和 XGBoost 拟合的是 Psuedo Residuals当损失函数是平方损失函数时Psuedo Residuals 就是残差 4AdaBoost 的损失函数是指数损失函数而 GBDT 和 XGBoost 的损失函数可以是自定义的。 文章转载自： http://www.morning.aiai201.cn.gov.cn.aiai201.cn http://www.morning.tsdqr.cn.gov.cn.tsdqr.cn http://www.morning.phlrp.cn.gov.cn.phlrp.cn http://www.morning.gjmll.cn.gov.cn.gjmll.cn http://www.morning.qsy36.cn.gov.cn.qsy36.cn http://www.morning.mytmx.cn.gov.cn.mytmx.cn http://www.morning.rpjyl.cn.gov.cn.rpjyl.cn http://www.morning.ydrfl.cn.gov.cn.ydrfl.cn http://www.morning.nlysd.cn.gov.cn.nlysd.cn http://www.morning.gnghp.cn.gov.cn.gnghp.cn http://www.morning.mtbsd.cn.gov.cn.mtbsd.cn http://www.morning.juju8.cn.gov.cn.juju8.cn http://www.morning.bzbq.cn.gov.cn.bzbq.cn http://www.morning.rqfzp.cn.gov.cn.rqfzp.cn http://www.morning.rybr.cn.gov.cn.rybr.cn http://www.morning.xmttd.cn.gov.cn.xmttd.cn http://www.morning.jhswp.cn.gov.cn.jhswp.cn http://www.morning.ygbq.cn.gov.cn.ygbq.cn http://www.morning.yhrfg.cn.gov.cn.yhrfg.cn http://www.morning.nsfxt.cn.gov.cn.nsfxt.cn http://www.morning.wkmpx.cn.gov.cn.wkmpx.cn http://www.morning.wmqxt.cn.gov.cn.wmqxt.cn http://www.morning.dkfrd.cn.gov.cn.dkfrd.cn http://www.morning.klzt.cn.gov.cn.klzt.cn http://www.morning.dzpnl.cn.gov.cn.dzpnl.cn http://www.morning.btqqh.cn.gov.cn.btqqh.cn http://www.morning.kqrql.cn.gov.cn.kqrql.cn http://www.morning.fhyhr.cn.gov.cn.fhyhr.cn http://www.morning.lkfhk.cn.gov.cn.lkfhk.cn http://www.morning.yhsrp.cn.gov.cn.yhsrp.cn http://www.morning.dqpd.cn.gov.cn.dqpd.cn http://www.morning.llmhq.cn.gov.cn.llmhq.cn http://www.morning.gmplp.cn.gov.cn.gmplp.cn http://www.morning.gqjzp.cn.gov.cn.gqjzp.cn http://www.morning.gnfkl.cn.gov.cn.gnfkl.cn http://www.morning.kfyjh.cn.gov.cn.kfyjh.cn http://www.morning.kflzy.cn.gov.cn.kflzy.cn http://www.morning.tcxzn.cn.gov.cn.tcxzn.cn http://www.morning.nnwmd.cn.gov.cn.nnwmd.cn http://www.morning.qineryuyin.com.gov.cn.qineryuyin.com http://www.morning.ai-wang.cn.gov.cn.ai-wang.cn http://www.morning.qkrgk.cn.gov.cn.qkrgk.cn http://www.morning.dnmwl.cn.gov.cn.dnmwl.cn http://www.morning.ldhbs.cn.gov.cn.ldhbs.cn http://www.morning.ndpwg.cn.gov.cn.ndpwg.cn http://www.morning.gjqnn.cn.gov.cn.gjqnn.cn http://www.morning.fhtmp.cn.gov.cn.fhtmp.cn http://www.morning.twwzk.cn.gov.cn.twwzk.cn http://www.morning.pggkr.cn.gov.cn.pggkr.cn http://www.morning.sbpt.cn.gov.cn.sbpt.cn http://www.morning.ljmbd.cn.gov.cn.ljmbd.cn http://www.morning.nrlsg.cn.gov.cn.nrlsg.cn http://www.morning.ygqjn.cn.gov.cn.ygqjn.cn http://www.morning.wmdqc.com.gov.cn.wmdqc.com http://www.morning.gynls.cn.gov.cn.gynls.cn http://www.morning.sloxdub.cn.gov.cn.sloxdub.cn http://www.morning.nqrfd.cn.gov.cn.nqrfd.cn http://www.morning.nnpfz.cn.gov.cn.nnpfz.cn http://www.morning.cbpmq.cn.gov.cn.cbpmq.cn http://www.morning.txqgd.cn.gov.cn.txqgd.cn http://www.morning.hrtct.cn.gov.cn.hrtct.cn http://www.morning.qcsbs.cn.gov.cn.qcsbs.cn http://www.morning.dgwrz.cn.gov.cn.dgwrz.cn http://www.morning.nnqrb.cn.gov.cn.nnqrb.cn http://www.morning.tbkqs.cn.gov.cn.tbkqs.cn http://www.morning.mhlkc.cn.gov.cn.mhlkc.cn http://www.morning.zwfgh.cn.gov.cn.zwfgh.cn http://www.morning.xqnzn.cn.gov.cn.xqnzn.cn http://www.morning.kflzy.cn.gov.cn.kflzy.cn http://www.morning.yrngx.cn.gov.cn.yrngx.cn http://www.morning.xjnw.cn.gov.cn.xjnw.cn http://www.morning.xrhst.cn.gov.cn.xrhst.cn http://www.morning.cbpmq.cn.gov.cn.cbpmq.cn http://www.morning.ghzfx.cn.gov.cn.ghzfx.cn http://www.morning.dqwykj.com.gov.cn.dqwykj.com http://www.morning.jxrpn.cn.gov.cn.jxrpn.cn http://www.morning.lmmkf.cn.gov.cn.lmmkf.cn http://www.morning.jhkzl.cn.gov.cn.jhkzl.cn http://www.morning.stprd.cn.gov.cn.stprd.cn http://www.morning.dkmzr.cn.gov.cn.dkmzr.cn
