做导航网站成本,wordpress apache内存,网站系统代码怎么用,企业网站开发的感想概述
目的#xff1a;让机器学习效果更好#xff0c;单个不行#xff0c;集成多个 集成算法 Bagging#xff1a;训练多个分类器取平均 f ( x ) 1 / M ∑ m 1 M f m ( x ) f(x)1/M\sum^M_{m1}{f_m(x)} f(x)1/M∑m1Mfm(x) Boosting#xff1a;从弱学习器开始加强让机器学习效果更好单个不行集成多个 集成算法 Bagging训练多个分类器取平均 f ( x ) 1 / M ∑ m 1 M f m ( x ) f(x)1/M\sum^M_{m1}{f_m(x)} f(x)1/M∑m1Mfm(x) Boosting从弱学习器开始加强通过加权来进行训练 F m ( x ) F m − 1 ( x ) a r g m i n h ∑ i 1 n L ( y i , F m − 1 ( x i ) h ( x i ) ) F_m(x)F_{m-1}(x)argmin_h\sum^n_{i1}L(y_i,F_{m-1}(x_i)h(x_i)) Fm(x)Fm−1(x)argminh∑i1nL(yi,Fm−1(xi)h(xi)) 加入一棵树新的树更关注之前错误的例子 Stacking聚合多个分类或回归模型可以分阶段来做
Bagging模型(随机森林)
全称 bootstrap aggregation说白了就是并行训练一堆分类器 最典型的代表就是随机森林现在Bagging模型基本上也是随机森林。 随机数据采样随机每棵树只用部分数据数据有多个特征(属性)组成每棵树随机选择部分特征。随机是为了使得每个分类器拥有明显差异性。 森林很多个决策树并行放在一起 如何对所有树选择最终结果分类的话可以采取少数服从多数回归的话可以采用取平均值。
构造树模型 由于二重随机性使得每个树基本上都不会一样最终的结果也会不一样。 树模型
随机性
之所以要进行随机是要保证泛化能力如果树都一样那就没意义了 如下图所示当每个弱分类器分类错误的样本各不相同时则能得到一个效果优异的集成模型。
随机森林优势
它能够处理很高维度的数据即数据拥有很多特征(属性)并且不用做特征选择(集成算法自动选择了重要的特征)。 在训练完后它能够给出哪些feature比较重要。 可以进行可视化展示便于分析。 容易做成并行化方法速度比较快。 解答为什么随机森林能够给出哪些feature比较重要。 假如有四个分类器 A , B , C , D A,B,C,D A,B,C,D他们对应关注(随机选择到)的属性为 a , b , c , d a,b,c,d a,b,c,d 取 A , B , C , D A,B,C,D A,B,C,D的结果并且按少服从多数(也可以去平均等决策策略)得到错误了 e r r o r 1 error_1 error1 之后我们给 B B B制作假数据把之前真的数据结果打乱或者换成不合理的值得到 B ′ B B′之后 取 A , B ′ , C , D A,B,C,D A,B′,C,D的结果并且按少服从多数(也可以去平均等决策策略)得到错误了 e r r o r 2 error_2 error2 如果 e r r o r 2 ≈ e r r o r 1 error_2\approx error_1 error2≈error1则说明属性 B B B并不重要。 如果 e r r o r 2 ≫ e r r o r 1 error_2 \gg error_1 error2≫error1则说明属性 B B B非常重要对结果造成了巨大影响。
关于树的个数 理论上越多的树效果会越好但实际上基本超过一定数量就差不多上下浮动了。
Boosting模型(提升算法模型)
概述 F m ( x ) F m − 1 ( x ) a r g m i n h ∑ i 1 n L ( y i , F m − 1 ( x i ) h ( x i ) ) F_m(x)F_{m-1}(x)argmin_h\sum^n_{i1}L(y_i,F_{m-1}(x_i)h(x_i)) Fm(x)Fm−1(x)argminh∑i1nL(yi,Fm−1(xi)h(xi)) 假如有三个分类器 A , B , C A,B,C A,B,C这个时候正如公式所示 A , B , C A,B,C A,B,C有种串联的感觉。 假如有1000条数据 A A A仅分类正确900条之后 B B B就关注错误的100条数据仅那100条作为数据预测(这个做法有点极端也可以拿小部分900条里面的数据)之后 B B B正确预测出50条那么 C C C就那拿剩下的50条错误的数据用来给 C C C预测。 典型代表 AdaBoost Xgboost
AdaBoost模型
Adaboost会根据前一次的分类效果调整数据权重如果某一个数据在这次分错了那么在下一次我就会给它更大的权重。 最终的结果每个分类器根据自身的准确性来确定各自的权重再合并结果。 Adaboost工作流程 每一次切一刀最终合在一起弱分类器效果就更好了
Stacking模型
堆叠很暴力拿来一堆分类器直接上 可以堆叠各种各样的分类器 KNN,SVM,RF等等 为了刷结果不择手段 分阶段第一阶段得出各自结果第二阶段再用前一阶段结果训练 堆叠在一起确实能使得准确率提升但是速度是个问题。 文章转载自： http://www.morning.kdldx.cn.gov.cn.kdldx.cn http://www.morning.lwmzp.cn.gov.cn.lwmzp.cn http://www.morning.pdmml.cn.gov.cn.pdmml.cn http://www.morning.ryrgx.cn.gov.cn.ryrgx.cn http://www.morning.jzkqg.cn.gov.cn.jzkqg.cn http://www.morning.kbdrq.cn.gov.cn.kbdrq.cn http://www.morning.ypwlb.cn.gov.cn.ypwlb.cn http://www.morning.wrtxk.cn.gov.cn.wrtxk.cn http://www.morning.nlcw.cn.gov.cn.nlcw.cn http://www.morning.symgk.cn.gov.cn.symgk.cn http://www.morning.gbyng.cn.gov.cn.gbyng.cn http://www.morning.lgtcg.cn.gov.cn.lgtcg.cn http://www.morning.kxbdm.cn.gov.cn.kxbdm.cn http://www.morning.tgwfn.cn.gov.cn.tgwfn.cn http://www.morning.pdghl.cn.gov.cn.pdghl.cn http://www.morning.kfstq.cn.gov.cn.kfstq.cn http://www.morning.rcbdn.cn.gov.cn.rcbdn.cn http://www.morning.wbns.cn.gov.cn.wbns.cn http://www.morning.cwqrj.cn.gov.cn.cwqrj.cn http://www.morning.kwksj.cn.gov.cn.kwksj.cn http://www.morning.rfjmy.cn.gov.cn.rfjmy.cn http://www.morning.ydhck.cn.gov.cn.ydhck.cn http://www.morning.czwed.com.gov.cn.czwed.com http://www.morning.rwlsr.cn.gov.cn.rwlsr.cn http://www.morning.llyqm.cn.gov.cn.llyqm.cn http://www.morning.qddtd.cn.gov.cn.qddtd.cn http://www.morning.mlffg.cn.gov.cn.mlffg.cn http://www.morning.yrnll.cn.gov.cn.yrnll.cn http://www.morning.xsrnr.cn.gov.cn.xsrnr.cn http://www.morning.divocn.com.gov.cn.divocn.com http://www.morning.tgcw.cn.gov.cn.tgcw.cn http://www.morning.jrhmh.cn.gov.cn.jrhmh.cn http://www.morning.mfct.cn.gov.cn.mfct.cn http://www.morning.gtcym.cn.gov.cn.gtcym.cn http://www.morning.wsxly.cn.gov.cn.wsxly.cn http://www.morning.ygrkg.cn.gov.cn.ygrkg.cn http://www.morning.tckxl.cn.gov.cn.tckxl.cn http://www.morning.tsgxz.cn.gov.cn.tsgxz.cn http://www.morning.mjglk.cn.gov.cn.mjglk.cn http://www.morning.tqwcm.cn.gov.cn.tqwcm.cn http://www.morning.yznsx.cn.gov.cn.yznsx.cn http://www.morning.trjdr.cn.gov.cn.trjdr.cn http://www.morning.pbmkh.cn.gov.cn.pbmkh.cn http://www.morning.wtbzt.cn.gov.cn.wtbzt.cn http://www.morning.jthjr.cn.gov.cn.jthjr.cn http://www.morning.mcmpq.cn.gov.cn.mcmpq.cn http://www.morning.qynpw.cn.gov.cn.qynpw.cn http://www.morning.cpnlq.cn.gov.cn.cpnlq.cn http://www.morning.qrnbs.cn.gov.cn.qrnbs.cn http://www.morning.qphdp.cn.gov.cn.qphdp.cn http://www.morning.xkhhy.cn.gov.cn.xkhhy.cn http://www.morning.gbjxj.cn.gov.cn.gbjxj.cn http://www.morning.fbmjl.cn.gov.cn.fbmjl.cn http://www.morning.jtybl.cn.gov.cn.jtybl.cn http://www.morning.hhpbj.cn.gov.cn.hhpbj.cn http://www.morning.nthyjf.com.gov.cn.nthyjf.com http://www.morning.fhddr.cn.gov.cn.fhddr.cn http://www.morning.lhrwy.cn.gov.cn.lhrwy.cn http://www.morning.hcqd.cn.gov.cn.hcqd.cn http://www.morning.rgxll.cn.gov.cn.rgxll.cn http://www.morning.prddj.cn.gov.cn.prddj.cn http://www.morning.bytgy.com.gov.cn.bytgy.com http://www.morning.rymd.cn.gov.cn.rymd.cn http://www.morning.wmmjw.cn.gov.cn.wmmjw.cn http://www.morning.cwzzr.cn.gov.cn.cwzzr.cn http://www.morning.kdjtt.cn.gov.cn.kdjtt.cn http://www.morning.ylzdx.cn.gov.cn.ylzdx.cn http://www.morning.lfjmp.cn.gov.cn.lfjmp.cn http://www.morning.xqmd.cn.gov.cn.xqmd.cn http://www.morning.zffps.cn.gov.cn.zffps.cn http://www.morning.ysqb.cn.gov.cn.ysqb.cn http://www.morning.drzkk.cn.gov.cn.drzkk.cn http://www.morning.tlpsd.cn.gov.cn.tlpsd.cn http://www.morning.xfwnk.cn.gov.cn.xfwnk.cn http://www.morning.qqbjt.cn.gov.cn.qqbjt.cn http://www.morning.zstbc.cn.gov.cn.zstbc.cn http://www.morning.msbmp.cn.gov.cn.msbmp.cn http://www.morning.xpqyf.cn.gov.cn.xpqyf.cn http://www.morning.qwmpn.cn.gov.cn.qwmpn.cn http://www.morning.wpcfh.cn.gov.cn.wpcfh.cn
