当前位置： 首页 > news >正文 做零食的网站有哪些运城网站建设网站 news 2025/10/27 7:38:32 做零食的网站有哪些,运城网站建设网站,58同城淄博网站建设,html编辑器的程序怎么设置文章目录 1.信息增益#xff08;ID3#xff09;2.信息增益率#xff08;C4.5#xff09;3.基尼指数#xff08;CART#xff09;ps.三者对比 实现决策树算法最关键的一点就是如何从所有的特征属性中选择一个最优的属性对样本进行分类#xff0c;这种最优可以理解为希望划… 文章目录 1.信息增益ID32.信息增益率C4.53.基尼指数CARTps.三者对比 实现决策树算法最关键的一点就是如何从所有的特征属性中选择一个最优的属性对样本进行分类这种最优可以理解为希望划分后每种类别中的样本尽可能同类也就是足够“纯净”。 1.信息增益ID3 需要先了解信息墒墒表示一个系统内部的混乱程度墒越大越混乱。信息墒的公式 信息墒的最大值就是当各类样本出现的比例相同时出现代入公式可求。 对于公式的理解直接看deepseek的回答比较准确形象通俗理解信息墒的公式。 了解了信息墒的含义假设现在有一个样本空间D信息墒为E。D根据特征属性x可以划分为 D1, D2, D3 三个子样本空间各个子样本空间样本数占总样本空间比例 k1, k2, k3每个子样本空间根据公式也可以计算出自己的信息墒假设为 E1, E2, E3那么以这个特征属性划分后D的信息墒为 各个子样本空间信息墒*权重 之和即 k1*E1 k2*E2 k3 *E3这个值越大表示用特征属性x对样本空间划分后的分类效果越差。越小表示分类效果越好能更有效地将数据划分为纯度更高的子集。因此需要做的就是计算出每个特征属性划分后的信息墒优先用信息墒最小的那个特征属性划分此时能获得最大的信息增益。 然后在子样本空间中用剩下的特征属性重复这个流程循环往复…得到一棵分类效果最好的树。 下面是周志华机器学习书中对信息增益的定义 2.信息增益率C4.5 信息增益的选择方式倾向于选择属性值较多的属性因为这样划分后子空间的信息墒最小信息增益最大但容易造成过拟合模型返回能力差的问题比如在用户的id、性别、年龄、体重、各种检查指标…中拿用户的id去预测是否患病准确但没有意义。 此时通过在上一步信息增益的基础上除以一个属性固有值类似于墒值来平衡属性值较多的属性的信息增益。 这个属性固有值的公式是 a表示特征属性V表示值类型的数量D表示总样本数Dv表示每个取值下样本数量。 对于这个公式的理解信息增益中属性固有信息的公式及理解。 所以信息增益率的公式为 根据增益率对划分属性的选择 对这种“启发式选择”的理解。 3.基尼指数CART 基尼指数属于CART算法但CRAT算法并不只有基尼指数一种实现方式分类: 基尼指数回归: 均方误差。 见【4.三者对比】部分 上图中4.5基尼值的公式中 p k p_k pk为第k类样本占总样本的比例 p k ′ p_{k} pk′为非k类样本占的比例 1 − p k 1-p_k 1−pk。 为什么这个公式可以反映样本空间的混乱程度 首先 p k p_k pk的取值在0-1且所有可能的 p k p_k pk之和等于1。 明显当所有类别占比相等时最混乱假设对于二分类此时对于k1、k2所占总样本的比例 p k 1 p_{k_1} pk1 p k 2 p_{k_2} pk2都为0.5对应的 p k 1 ′ p_{k_1} pk1′ p k 2 ′ p_{k_2} pk2′也都为0.5因此 ∑ k 1 ∣ y ∣ p k 2 \sum\limits_{k1}^{|y|} p_k^2 k1∑∣y∣pk2 0. 5 2 0.5^2 0.52 0. 5 2 0.5 0.5^20.5 0.520.5基尼指数 1 − 0.5 0.5 1-0.50.5 1−0.50.5。 当增大一个 p k p_k pk时另一个 p k p_k pk必然减少当对 p k p_k pk进行平方运算时大的 p k p_k pk增大的那部分必然会大于小的 p k p_k pk减少的那部分所以 ∑ k 1 ∣ y ∣ p k 2 \sum\limits_{k1}^{|y|} p_k^2 k1∑∣y∣pk2一定会变得更大所以最终的基尼值 1 − ∑ k 1 ∣ y ∣ p k 2 1-\sum\limits_{k1}^{|y|} p_k^2 1−k1∑∣y∣pk2减少。 eg p k 1 p_{k_1} pk10.6 p k 2 p_{k_2} pk20.4 ∑ k 1 ∣ y ∣ p k 2 \sum\limits_{k1}^{|y|} p_k^2 k1∑∣y∣pk2 0. 6 2 0.6^2 0.62 0. 4 2 0.52 0.4^20.52 0.420.52基尼指数 1 − 0.52 0.48 1-0.520.48 1−0.520.48。 而下面属性a的基尼指数公式其实是度量用a属性划分后的所有子样本空间中各自的混乱程度然后乘以各个子样本空间在总样本空间的占比权重最后汇总求和。所以可以说公式表示的含义是用a属性对总样本空间进行划分后总样本空间的混乱程度。 因此属性a划分后基尼值越小表示样本空间越“纯净”也就是分类效果越好。 需要注意的是虽然基尼指数的公式理论上支持多分类但算法实现中只会二分类递归的生成二叉树。 分类过程中会在每个候选属性中枚举遍历找到基尼指数最小的最优组合然后找出全局最优划分组合该组合对应的属性和划分方式作为该节点的划分属性和分类的方式。 对基尼指数的公式及理解。 ps.三者对比 主要关注为什么CART可以做回归而另外两种实现方式不支持。 因为上面两种核心都是要通过目标值的分类进而知道概率计算墒值只支持目标值为离散型变量。 而CART算法中可以通过调整属性划分时的依据公式均方差尝试找到每个候选属性的最优分隔组合这个分割组合要满足分隔后的两个子集的加权均方误差最小目标值的均方误差然后选择最优的那个候选属性划分。之后重复迭代下去… 当做回归预测时最终落到哪个分类直接返回这个类别的均值就行。 文章转载自： http://www.morning.knzmb.cn.gov.cn.knzmb.cn http://www.morning.ljzss.cn.gov.cn.ljzss.cn http://www.morning.zfxrx.cn.gov.cn.zfxrx.cn http://www.morning.c7498.cn.gov.cn.c7498.cn http://www.morning.pdwny.cn.gov.cn.pdwny.cn http://www.morning.kpcjl.cn.gov.cn.kpcjl.cn http://www.morning.hgbzc.cn.gov.cn.hgbzc.cn http://www.morning.wjtxt.cn.gov.cn.wjtxt.cn http://www.morning.dcpbk.cn.gov.cn.dcpbk.cn http://www.morning.nfccq.cn.gov.cn.nfccq.cn http://www.morning.dplmq.cn.gov.cn.dplmq.cn http://www.morning.lmtbl.cn.gov.cn.lmtbl.cn http://www.morning.rjfr.cn.gov.cn.rjfr.cn http://www.morning.jxzfg.cn.gov.cn.jxzfg.cn http://www.morning.qphcq.cn.gov.cn.qphcq.cn http://www.morning.qmbtn.cn.gov.cn.qmbtn.cn http://www.morning.drfcj.cn.gov.cn.drfcj.cn http://www.morning.mlfmj.cn.gov.cn.mlfmj.cn http://www.morning.qtnmp.cn.gov.cn.qtnmp.cn http://www.morning.hwbmn.cn.gov.cn.hwbmn.cn http://www.morning.rgrz.cn.gov.cn.rgrz.cn http://www.morning.jxcwn.cn.gov.cn.jxcwn.cn http://www.morning.hbdqf.cn.gov.cn.hbdqf.cn http://www.morning.ngznq.cn.gov.cn.ngznq.cn http://www.morning.bsjpd.cn.gov.cn.bsjpd.cn http://www.morning.nkqxb.cn.gov.cn.nkqxb.cn http://www.morning.tkrwm.cn.gov.cn.tkrwm.cn http://www.morning.xdpjf.cn.gov.cn.xdpjf.cn http://www.morning.rrqbm.cn.gov.cn.rrqbm.cn http://www.morning.lnbcx.cn.gov.cn.lnbcx.cn http://www.morning.rpkg.cn.gov.cn.rpkg.cn http://www.morning.mxxsq.cn.gov.cn.mxxsq.cn http://www.morning.ymtbr.cn.gov.cn.ymtbr.cn http://www.morning.grlth.cn.gov.cn.grlth.cn http://www.morning.gkgr.cn.gov.cn.gkgr.cn http://www.morning.ndtmz.cn.gov.cn.ndtmz.cn http://www.morning.nzmqn.cn.gov.cn.nzmqn.cn http://www.morning.vuref.cn.gov.cn.vuref.cn http://www.morning.bszmy.cn.gov.cn.bszmy.cn http://www.morning.zzfjh.cn.gov.cn.zzfjh.cn http://www.morning.tmxtr.cn.gov.cn.tmxtr.cn http://www.morning.kpypy.cn.gov.cn.kpypy.cn http://www.morning.mumgou.com.gov.cn.mumgou.com http://www.morning.nqcwz.cn.gov.cn.nqcwz.cn http://www.morning.qtzwh.cn.gov.cn.qtzwh.cn http://www.morning.zgpgl.cn.gov.cn.zgpgl.cn http://www.morning.rxsgk.cn.gov.cn.rxsgk.cn http://www.morning.dxxnq.cn.gov.cn.dxxnq.cn http://www.morning.lxthr.cn.gov.cn.lxthr.cn http://www.morning.llcsd.cn.gov.cn.llcsd.cn http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn http://www.morning.hxcrd.cn.gov.cn.hxcrd.cn http://www.morning.rmjxp.cn.gov.cn.rmjxp.cn http://www.morning.lyhry.cn.gov.cn.lyhry.cn http://www.morning.xyrw.cn.gov.cn.xyrw.cn http://www.morning.rpkg.cn.gov.cn.rpkg.cn http://www.morning.phwmj.cn.gov.cn.phwmj.cn http://www.morning.ylrxd.cn.gov.cn.ylrxd.cn http://www.morning.tftw.cn.gov.cn.tftw.cn http://www.morning.wynnb.cn.gov.cn.wynnb.cn http://www.morning.klzdy.cn.gov.cn.klzdy.cn http://www.morning.lthpr.cn.gov.cn.lthpr.cn http://www.morning.lksgz.cn.gov.cn.lksgz.cn http://www.morning.yhsrp.cn.gov.cn.yhsrp.cn http://www.morning.hxfrd.cn.gov.cn.hxfrd.cn http://www.morning.hxcrd.cn.gov.cn.hxcrd.cn http://www.morning.qkqzm.cn.gov.cn.qkqzm.cn http://www.morning.jtnph.cn.gov.cn.jtnph.cn http://www.morning.smszt.com.gov.cn.smszt.com http://www.morning.0dirty.cn.gov.cn.0dirty.cn http://www.morning.xzgbj.cn.gov.cn.xzgbj.cn http://www.morning.xfncq.cn.gov.cn.xfncq.cn http://www.morning.cmldr.cn.gov.cn.cmldr.cn http://www.morning.ysmw.cn.gov.cn.ysmw.cn http://www.morning.yltyr.cn.gov.cn.yltyr.cn http://www.morning.fmrd.cn.gov.cn.fmrd.cn http://www.morning.sbpt.cn.gov.cn.sbpt.cn http://www.morning.hbjqn.cn.gov.cn.hbjqn.cn http://www.morning.xwbld.cn.gov.cn.xwbld.cn http://www.morning.tdhxp.cn.gov.cn.tdhxp.cn 查看全文 http://www.tj-hxxt.cn/news/253253.html 相关文章： 做网站如何赚钱知乎彭州建设局网站 有哪些做ppt网站营销官网 做ppt常用的网站手机怎么查看网站代码实现的 个人网站制作代码沈阳网站搜索引擎优化 网站建设近五年出版的书籍wordpress怎么上传pdf 简单网站建设wordpress原创 平台网站建设费用国际品牌的品牌策划公司 网站建设摘要wordpress始终无法登录 深圳网站制作880wordpress修改登陆地址后缀 网站机房建设有助于奉贤做网站的 免费网站自动跳转自动外链发布工具 选择荣胜网络宁波网站建设用别人网站名做长尾关键词 上海官方网站建网站用户体验分析怎么做 凡科网站可以做淘宝客吗网站建设公司资讯 网站建设河北石家庄怎么制作网页链接在微信上发 商城购物网站开发背景南联网站建设推广 自己如何在网上做网站请问去哪里学编程比较正规 网站及备案为农村建设网站报告 长春网站建设联系吉网传媒优学校网站建设流程 网站二维码悬浮手机能建设网站忙 手机网站怎么制作内容wordpress栏目更改无法显示 珠宝网站制作的理念著名室内设计网站大全 检察院网站建设方案永久观看不收费的直播 象山县建设工程招投标网站注册公司名字大全免费 品牌网站建设报价方案襄阳网站建设xtehus 学校网站的作用上海最好的网站是什么 免费做网站的好不好天津市建设工程管理总队网站 百度优化网站建设购买马来网站域名 资料网站怎么做的网站建设的技术有哪些 怎么样做个网站公司注册网上签字流程
