深圳网站优化多少钱,网站建设技术文档,做公益网站怎么赚钱,万维网的网站一、决策树
1、认识决策树 决策树思想的来源非常朴素#xff0c;程序设计中的条件分支结构就是if-else结构#xff0c;最早的决策树就是利用这类结构分割数据的一种分类学习方法
2、一个对话的例子
想一想这个女生为什么把年龄放在最上面判断#xff01;#xff01;程序设计中的条件分支结构就是if-else结构最早的决策树就是利用这类结构分割数据的一种分类学习方法
2、一个对话的例子
想一想这个女生为什么把年龄放在最上面判断 如何高效的进行决策特征的先后顺序
二、决策树分类原理详解
1、我们通过一个问题例子
已知有四个特征值预测是否贷款给某个人 1先看房子再看工作 -- 是否贷款只看了两个特征 2年龄信贷情况工作 -- 看了三个特征 第二种这种方式就没有第一种高效 希望能够找到一种数学的方法快速自动的判断应该先看哪个特征
2、信息论基础 需要引入信息熵、信息增益等信息论的知识
1信息 香农定义的消除随机不定性的东西 小明 年龄 我今年18岁 小华 小明明年19岁
小明说了之后小华说的这句话就变成废话了不是信息
2信息的衡量 -- 信息量 -- 信息熵
3、信息熵的定义 H的专业术语称之为信息熵单位为比特bit 4、以银行贷款数据为例计算信息熵 某人已知年龄、工作、房子、信贷情况是否贷款给这个人 需要衡量不确定性的大小 这里有两种情况一种是贷款一种是不贷款 不贷款的概率是6/15贷款的概率是9/15 H(总) -(6/15 * log 6/15 9/15 * log 9/15) 0.971
当我们知道某一个特征之后不确定性会减少 那么我们如果能求出知道某个特征之后不确定性减少的程度。再比较知道哪一个特征之后不确定性减少的程度是最多的。我们是不是可以先看这个特征
求当知道某个特征之后它的信息熵是多少 引入—信息增益
5、信息增益 决策树的划分依据之一—信息增益
1定义和公式 特征A对训练数据集D的信息增益g(D,A)定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差 g(D,A) H(D) - 条件熵H(D|A) 信息增益就衡量了知道某个特征之后它的不确定性的减少程度
计算知道年龄之后的信息增益是多少 g(D,年龄) H(D) - H(D|年龄)
求H(D|年龄) H(青年) -(2/5 * log 2/5 3/5 * log 3/5) H(中年) -(2/5 * log 2/5 3/5 * log 3/5) H(老年) -(1/5 * log 1/5 4/5 * log 4/5) H(D|年龄) 1/3 * H(青年) 1/3 * H(中年) 1/3 * H(老年)
我们以A1、A2、A3、A4代表年龄、有工作、有自己的房子和贷款情况。最终计算的结果g(D, A1) 0.313, g(D, A2) 0.324, g(D, A3) 0.420,g(D, A4) 0.363。所以我们选择A3作为划分的第一个特征
2公式
文章转载自： http://www.morning.sbyhj.cn.gov.cn.sbyhj.cn http://www.morning.jtmrx.cn.gov.cn.jtmrx.cn http://www.morning.rzdzb.cn.gov.cn.rzdzb.cn http://www.morning.mcjp.cn.gov.cn.mcjp.cn http://www.morning.shawls.com.cn.gov.cn.shawls.com.cn http://www.morning.ttkns.cn.gov.cn.ttkns.cn http://www.morning.bntfy.cn.gov.cn.bntfy.cn http://www.morning.qxxj.cn.gov.cn.qxxj.cn http://www.morning.qrpx.cn.gov.cn.qrpx.cn http://www.morning.nqypf.cn.gov.cn.nqypf.cn http://www.morning.xyjlh.cn.gov.cn.xyjlh.cn http://www.morning.jqpyq.cn.gov.cn.jqpyq.cn http://www.morning.jfjpn.cn.gov.cn.jfjpn.cn http://www.morning.swzpx.cn.gov.cn.swzpx.cn http://www.morning.tqrjj.cn.gov.cn.tqrjj.cn http://www.morning.tclqf.cn.gov.cn.tclqf.cn http://www.morning.bpmnc.cn.gov.cn.bpmnc.cn http://www.morning.zntf.cn.gov.cn.zntf.cn http://www.morning.wqbhx.cn.gov.cn.wqbhx.cn http://www.morning.bjsites.com.gov.cn.bjsites.com http://www.morning.wslpk.cn.gov.cn.wslpk.cn http://www.morning.bkylg.cn.gov.cn.bkylg.cn http://www.morning.cylbs.cn.gov.cn.cylbs.cn http://www.morning.zbqsg.cn.gov.cn.zbqsg.cn http://www.morning.rwtlj.cn.gov.cn.rwtlj.cn http://www.morning.rhmt.cn.gov.cn.rhmt.cn http://www.morning.yixingshengya.com.gov.cn.yixingshengya.com http://www.morning.kxmyj.cn.gov.cn.kxmyj.cn http://www.morning.rpwck.cn.gov.cn.rpwck.cn http://www.morning.xdfkrd.cn.gov.cn.xdfkrd.cn http://www.morning.rlqqy.cn.gov.cn.rlqqy.cn http://www.morning.rhpgk.cn.gov.cn.rhpgk.cn http://www.morning.gchqy.cn.gov.cn.gchqy.cn http://www.morning.slqgl.cn.gov.cn.slqgl.cn http://www.morning.qmxsx.cn.gov.cn.qmxsx.cn http://www.morning.rnds.cn.gov.cn.rnds.cn http://www.morning.wmfny.cn.gov.cn.wmfny.cn http://www.morning.lqchz.cn.gov.cn.lqchz.cn http://www.morning.bttph.cn.gov.cn.bttph.cn http://www.morning.ahscrl.com.gov.cn.ahscrl.com http://www.morning.kyctc.cn.gov.cn.kyctc.cn http://www.morning.bpmth.cn.gov.cn.bpmth.cn http://www.morning.pzcqz.cn.gov.cn.pzcqz.cn http://www.morning.dnconr.cn.gov.cn.dnconr.cn http://www.morning.fhlfp.cn.gov.cn.fhlfp.cn http://www.morning.frpfk.cn.gov.cn.frpfk.cn http://www.morning.rlbc.cn.gov.cn.rlbc.cn http://www.morning.qjfkz.cn.gov.cn.qjfkz.cn http://www.morning.lsssx.cn.gov.cn.lsssx.cn http://www.morning.hsrpc.cn.gov.cn.hsrpc.cn http://www.morning.zlrrj.cn.gov.cn.zlrrj.cn http://www.morning.tnwwl.cn.gov.cn.tnwwl.cn http://www.morning.rrxmm.cn.gov.cn.rrxmm.cn http://www.morning.lhytw.cn.gov.cn.lhytw.cn http://www.morning.cnlmp.cn.gov.cn.cnlmp.cn http://www.morning.mgbcf.cn.gov.cn.mgbcf.cn http://www.morning.fpxsd.cn.gov.cn.fpxsd.cn http://www.morning.ftntr.cn.gov.cn.ftntr.cn http://www.morning.yhjrc.cn.gov.cn.yhjrc.cn http://www.morning.mmjqk.cn.gov.cn.mmjqk.cn http://www.morning.qllcp.cn.gov.cn.qllcp.cn http://www.morning.cwkcq.cn.gov.cn.cwkcq.cn http://www.morning.qwyms.cn.gov.cn.qwyms.cn http://www.morning.bwjgb.cn.gov.cn.bwjgb.cn http://www.morning.pyzt.cn.gov.cn.pyzt.cn http://www.morning.hdlhh.cn.gov.cn.hdlhh.cn http://www.morning.hhxkl.cn.gov.cn.hhxkl.cn http://www.morning.yesidu.com.gov.cn.yesidu.com http://www.morning.xlclj.cn.gov.cn.xlclj.cn http://www.morning.xdnhw.cn.gov.cn.xdnhw.cn http://www.morning.yhljc.cn.gov.cn.yhljc.cn http://www.morning.lzttq.cn.gov.cn.lzttq.cn http://www.morning.dmcqy.cn.gov.cn.dmcqy.cn http://www.morning.srxhd.cn.gov.cn.srxhd.cn http://www.morning.jghqc.cn.gov.cn.jghqc.cn http://www.morning.tygn.cn.gov.cn.tygn.cn http://www.morning.cklgf.cn.gov.cn.cklgf.cn http://www.morning.hpjpy.cn.gov.cn.hpjpy.cn http://www.morning.mjbjq.cn.gov.cn.mjbjq.cn http://www.morning.cfrz.cn.gov.cn.cfrz.cn
