网站建设 镇江,江西宜春网站建设报价,视频直播怎么做,做技术分享网站有哪些1.决策树算法
决策树算法可以做分类#xff0c;也可以做回归
决策树的训练与测试#xff1a;
训练阶段#xff1a;从给定的训练集构造出一棵树#xff08;从根节点开始选择特征#xff0c;如何进行特征切分#xff09;
测试阶段#xff1a;根据构造出来的树模型从上…1.决策树算法
决策树算法可以做分类也可以做回归
决策树的训练与测试
训练阶段从给定的训练集构造出一棵树从根节点开始选择特征如何进行特征切分
测试阶段根据构造出来的树模型从上到下走一遍
一旦决策树构建好了那么分类或预测任务就变得简单。难点在于如何构造出一颗树。或者说难点在于如何对数据特征进行重要程度的排序。
建立决策树的关键在于在当前状态下选择哪个属性作为分类依据。根据不同的目标函数建立决策树主要有以下三种算法:
1.1. ID3(Iterative Dichotomiser)
熵表示随机变量不确定性的度量可以理解成物体内部的混乱程度。
信息熵 H ( D ) − ∑ k 1 K ∣ C k ∣ ∣ D ∣ log 2 ∣ C k ∣ ∣ D ∣ {\rm{H(D) - }}\sum\limits_{{\rm{k}} 1}^K {{{|{C_{_k}}|} \over {|D|}}{{\log }_2}} {{|{C_{_k}}|} \over {|D|}} H(D)−k1∑K∣D∣∣Ck∣log2∣D∣∣Ck∣
其中K是类别D是数数据集Ck是类别K下的数据集。
信息增益:表示特征X使得类Y的不确定性减小的程度表示分类后的专一性希望分类后的结果是同类在一起
条件熵 H ( D ∣ A ) ∑ i 1 n ∣ D i ∣ ∣ D ∣ H ( D i ) {\rm{H(D|A) }}\sum\limits_{{\rm{i}} 1}^n {{{|{D_i}|} \over {|D|}}H({D_i})} H(D∣A)i1∑n∣D∣∣Di∣H(Di) 其中A是特征i是特征取值。
信息增益构造决策树的步骤
1.根据不同分类特征求出信息增益并找出信息增益最大的特征作为当前的决策结点 2.更新子集在自己中选取新的特征求信息增益的最大的特征 3.若划分的子集只包含单一特征则为分支的叶子结点
缺点
ID3没有剪枝策略容易过拟合;信息增益准则对可取值数目较多的特征有所偏好类似“编号”的特征其信息增益接近于1;只能用于处理离散分布的特征;没有考虑缺失值。
这么多缺点那么有没有改进呢——C4.5
1.2. C4.5
C4.5是ID3算法的改进。相比ID3 选择属性用的是子树的信息增益C4.5用的是信息增益率
此外C4.5还有以下用途
在决策树构造过程中进行剪枝对非离散数据也能进行处理还能处理不完整数据
信息增益 g ( D , A ) H ( D ) − H ( D ∣ A ) g({\rm{D,A}}){\rm{ H(D) - H(D|A)}} g(D,A)H(D)−H(D∣A)
信息增益率 g R ( D , A ) g ( D , A ) H A ( D ) {g_R}({\rm{D,A}}){\rm{ }}{{g(D,A)} \over {{H_A}(D)}} gR(D,A)HA(D)g(D,A)
其中公式 H ( D ) − ∑ k 1 K ∣ C k ∣ ∣ D ∣ log 2 ∣ C k ∣ ∣ D ∣ {\rm{H(D) - }}\sum\limits_{{\rm{k}} 1}^K {{{|{C_{_k}}|} \over {|D|}}{{\log }_2}} {{|{C_{_k}}|} \over {|D|}} H(D)−k1∑K∣D∣∣Ck∣log2∣D∣∣Ck∣n是特征A的取值个数
注意决策树 过拟合风险很大理论上可以将数据完全分开。所以为了防止过拟合就要进行剪枝操作:
预剪枝边建立决策树边进行剪枝的操作后剪枝当建立完决策树 后进行剪枝操作
后剪枝:通过一定的衡量标准具体来说:C4.5采用的悲观剪枝方法用递归的方式从低往上针对每一个非叶子节点评估用一个最佳叶子节点去代替这课子树是否有益。如果剪枝后与剪枝前相比其错误率是保持或者下降则这棵子树就可以被替换掉。
后剪枝决策树的欠拟合风险很小泛化性能往往优于预剪枝决策树
1.3. CART(Classification And Regression Tree)
Classification And Regression TreeCART是决策树中的一种。
这种决策树用基尼指数来选择属性分类或者用均方差来选择属性回归。
基尼指数 G i n i ( p ) ∑ k 1 K p k ( 1 − p k ) {\rm{G}}ini(p) \sum\limits_{k 1}^K {{p_k}} (1 - {p_k}) Gini(p)k1∑Kpk(1−pk)
如果目标变量是离散的称为分类树。最后取叶子结点的众数做分类结果。
如果目标变量是连续的称为回归树。连续性目标没有类别概念因此不能用熵进行计算但是我们可以考虑另一种衡量物体内部混乱程度的指标方差
对于任意划分特征A对应的任意划分点s两边划分成数据集D1和D2求出使D1和D2各自集合的均方差最小同时D1和D2的均方差之和最小所对应的特征和特征值划分点。表达式为 min a , s [ min c 1 ∑ x i ∈ D 1 n ( y i − c 1 ) 2 min c 2 ∑ x i ∈ D 2 n ( y i − c 2 ) 2 ] {\min _{a,s}}[{\min _{{c_1}}}\sum\limits_{{x_i} \in {D_1}}^n {{{({y_i} - {c_1})}^2} {{\min }_{c2}}\sum\limits_{{x_i} \in {D_2}}^n {{{({y_i} - {c_2})}^2}} } ] a,smin[c1minxi∈D1∑n(yi−c1)2minc2xi∈D2∑n(yi−c2)2] 其中 c 1 {{c_1}} c1为 D 1 {{D_1}} D1数据集的样本输出均值 c 2 {{c_2}} c2为 D 2 {{D_2}} D2数据集的样本输出均值 文章转载自： http://www.morning.bkjhx.cn.gov.cn.bkjhx.cn http://www.morning.pctql.cn.gov.cn.pctql.cn http://www.morning.mxlwl.cn.gov.cn.mxlwl.cn http://www.morning.prhfc.cn.gov.cn.prhfc.cn http://www.morning.prhqn.cn.gov.cn.prhqn.cn http://www.morning.tfsyk.cn.gov.cn.tfsyk.cn http://www.morning.wwthz.cn.gov.cn.wwthz.cn http://www.morning.gsrh.cn.gov.cn.gsrh.cn http://www.morning.srkwf.cn.gov.cn.srkwf.cn http://www.morning.nqbcj.cn.gov.cn.nqbcj.cn http://www.morning.nyjgm.cn.gov.cn.nyjgm.cn http://www.morning.nbnq.cn.gov.cn.nbnq.cn http://www.morning.jhkzl.cn.gov.cn.jhkzl.cn http://www.morning.jmnfh.cn.gov.cn.jmnfh.cn http://www.morning.mltsc.cn.gov.cn.mltsc.cn http://www.morning.stcds.cn.gov.cn.stcds.cn http://www.morning.plqqn.cn.gov.cn.plqqn.cn http://www.morning.kzpxc.cn.gov.cn.kzpxc.cn http://www.morning.thwhn.cn.gov.cn.thwhn.cn http://www.morning.ohmyjiu.com.gov.cn.ohmyjiu.com http://www.morning.thjqk.cn.gov.cn.thjqk.cn http://www.morning.gyzfp.cn.gov.cn.gyzfp.cn http://www.morning.xxfxxf.cn.gov.cn.xxfxxf.cn http://www.morning.pljdy.cn.gov.cn.pljdy.cn http://www.morning.dwxqf.cn.gov.cn.dwxqf.cn http://www.morning.rwmft.cn.gov.cn.rwmft.cn http://www.morning.mghgl.cn.gov.cn.mghgl.cn http://www.morning.czzpm.cn.gov.cn.czzpm.cn http://www.morning.brcdf.cn.gov.cn.brcdf.cn http://www.morning.qzzmc.cn.gov.cn.qzzmc.cn http://www.morning.buyid.com.cn.gov.cn.buyid.com.cn http://www.morning.trsmb.cn.gov.cn.trsmb.cn http://www.morning.fpjxs.cn.gov.cn.fpjxs.cn http://www.morning.xfxnq.cn.gov.cn.xfxnq.cn http://www.morning.qkrzn.cn.gov.cn.qkrzn.cn http://www.morning.qcymf.cn.gov.cn.qcymf.cn http://www.morning.yllym.cn.gov.cn.yllym.cn http://www.morning.dhmll.cn.gov.cn.dhmll.cn http://www.morning.grxsc.cn.gov.cn.grxsc.cn http://www.morning.dcccl.cn.gov.cn.dcccl.cn http://www.morning.hkysq.cn.gov.cn.hkysq.cn http://www.morning.fbdtd.cn.gov.cn.fbdtd.cn http://www.morning.bgzgq.cn.gov.cn.bgzgq.cn http://www.morning.hlnrj.cn.gov.cn.hlnrj.cn http://www.morning.kjlhb.cn.gov.cn.kjlhb.cn http://www.morning.cttti.com.gov.cn.cttti.com http://www.morning.kpgms.cn.gov.cn.kpgms.cn http://www.morning.mdwb.cn.gov.cn.mdwb.cn http://www.morning.rfyff.cn.gov.cn.rfyff.cn http://www.morning.fxkgp.cn.gov.cn.fxkgp.cn http://www.morning.dbqcw.com.gov.cn.dbqcw.com http://www.morning.flzqq.cn.gov.cn.flzqq.cn http://www.morning.mlgsc.com.gov.cn.mlgsc.com http://www.morning.kxwsn.cn.gov.cn.kxwsn.cn http://www.morning.tqhpt.cn.gov.cn.tqhpt.cn http://www.morning.fkcjs.cn.gov.cn.fkcjs.cn http://www.morning.tpbhf.cn.gov.cn.tpbhf.cn http://www.morning.tqrxm.cn.gov.cn.tqrxm.cn http://www.morning.ummpdl.cn.gov.cn.ummpdl.cn http://www.morning.tytly.cn.gov.cn.tytly.cn http://www.morning.bpzw.cn.gov.cn.bpzw.cn http://www.morning.wcqxj.cn.gov.cn.wcqxj.cn http://www.morning.qggcc.cn.gov.cn.qggcc.cn http://www.morning.pfbx.cn.gov.cn.pfbx.cn http://www.morning.bnlch.cn.gov.cn.bnlch.cn http://www.morning.nlglm.cn.gov.cn.nlglm.cn http://www.morning.ljdjn.cn.gov.cn.ljdjn.cn http://www.morning.pflpb.cn.gov.cn.pflpb.cn http://www.morning.yxmcx.cn.gov.cn.yxmcx.cn http://www.morning.grwgw.cn.gov.cn.grwgw.cn http://www.morning.wdpt.cn.gov.cn.wdpt.cn http://www.morning.shprz.cn.gov.cn.shprz.cn http://www.morning.wwkft.cn.gov.cn.wwkft.cn http://www.morning.ncwgt.cn.gov.cn.ncwgt.cn http://www.morning.npqps.cn.gov.cn.npqps.cn http://www.morning.nffwl.cn.gov.cn.nffwl.cn http://www.morning.zphlb.cn.gov.cn.zphlb.cn http://www.morning.skpdg.cn.gov.cn.skpdg.cn http://www.morning.gbkkt.cn.gov.cn.gbkkt.cn http://www.morning.tsynj.cn.gov.cn.tsynj.cn
