当前位置: 首页 > news >正文 asp做的网站怎么运行做评测系统网站首先要干嘛 news 2025/10/25 20:20:44 asp做的网站怎么运行,做评测系统网站首先要干嘛,织梦做的网站如何修改,可以自己做直播网站吗【人工智能Ⅰ】7-KNN 决策树 7-1 KNN#xff08;K near neighbour#xff09; 思想#xff1a;一个样本与数据集中的k个样本最相似#xff0c;若这k个样本大多数属于某类别#xff0c;则该个样本也属于这类别 距离度量 样本相似性用欧氏距离定义 L p ( x i , x…【人工智能Ⅰ】7-KNN 决策树 7-1 KNNK near neighbour 思想一个样本与数据集中的k个样本最相似若这k个样本大多数属于某类别则该个样本也属于这类别 距离度量 样本相似性用欧氏距离定义 L p ( x i , x j ) ( Σ l 1 n ∣ x i ( l ) − x j ( l ) ∣ p ) 1 / p L_p(x_i,x_j)(Σ_{l1}^{n}|x_i^{(l)}-x_j^{(l)}|^p)^{1/p} Lp(xi,xj)(Σl1n∣xi(l)−xj(l)∣p)1/p 流程 1计算已知类别数据集中的点与当前点之间的距离 2按递增排序距离 3选取与当前点距离最小的k个点 4统计k个点的类别及其频率 5返回频率最高的类别作为当前点的预测分类 优点 1简单有效 2适用大样本自动分类 缺点 1类别分类不标准化 2不均衡性 3计算量较大 k值选择 1误差 近似误差对现有训练集的训练误差过小说明过拟合估计误差对测试集的测试误差过小说明对未知数据的预测能力好 2k值 过小近似误差小估计误差大过大估计误差小近似误差大k值一般取一个较小的数采用【交叉验证法】择优 3交叉验证法 将数据集划分为N个大小相似的互斥子集并且尽量保证每个子集数据分布的一致性。 这样可获取N组训练 - 测试集从而进行N次训练和测试。 7-2 决策树Decision tree 根据特征解决数据分类问题 每个节点选择一个特征提出问题通过判断将数据分为2类再继续提问问题是在已知各种情况发生概率基础上构成决策树求取值大于等于0的概率再投入新数据时根据树上的问题将数据划分到合适叶子上事先确定每个样本的属性和类别节点表示属性测试分支表示测试输出叶子节点表示类别 数据 1训练数据构造决策树即决策机制 2测试数据验证决策树的错误率 构造树的依据 1信息熵 表示信息的复杂程度 H − ∑ i 1 n p i ∗ l o g 2 ( p i ) H-∑_{i1}^np_i*log_2(pi) H−i1∑npi∗log2(pi) 2信息增益 划分数据集前后信息熵的差值 决策树过程 1选择根节点 计算决策的信息熵H和每个属性的信息熵 信息增益是【H - 选定属性的信息熵】 选取信息增益最大的属性作为根节点 2选择新的节点 3构建完整树 4剪枝 减少树的高度避免过拟合 1预剪枝干设定一个树高度当构建树达到高度时停止 2后剪枝任由决策树构建完成从底部开始判断哪些枝干应该剪掉 预剪枝更快后剪枝更精确 决策树总结 1 一棵决策树包含一个根节点、若干个内部结点和若干个叶结点 2在决策过程中提出的每个判定问题都是对某个属性的“测试”节点 3每个测试的结果或导出最终结论或导出进一步的判定问题 4根节点包含了样本全集其中叶节点对应于决策结果是或否其他每个结点对应于一个属性测试 5从根节点到每个叶节点的路径对应一个判定测试序列 决策树叶子节点的生成 递归过程 导致递归返回的情况 1当前节点包含的样本全属于同一类别无需划分 2当前属性为空或所有样本在所有属性上取值相同无需划分。把当前节点标记为叶节点并将其类别设定为该节点所含样本最多的类别 3当前节点包含的样本集为空不能划分同样把当前节点标记为叶节点 决策树学习的生成算法 根据不同的目标函数算法分为ID3、C4.5、CART 建立决策树的关键即在当前状态下选择哪个属性作为分类依据 算法类别ID3C4.5CART划分标准信息增益信息增益率基尼指数最小 决策树优缺点 优点 1易于理解和实现需要的背景知识少直接体现数据特点 2数据准备简单或不必要可同时处理数据型和常规型属性 3易于通过静态测试对模型评测可信度、逻辑表达式 缺点 1对连续性的字段比较难预测 2对有时间顺序的数据需要预处理 3若类别过多错误增加快 7-3 集成学习 通过建立几个模型组合解决单一预测问题 工作原理生成多个分类器 集成学习方法分类 1基于boosting提升 Adaboost梯度提升决策树GBDTXGBoostextreme gradient boostingLightGBM 基本思想 1每个样本均赋予一个权重 2T次迭代每次迭代后对分类错误的样本加大权重下次迭代更加关注分类错误的样本 特点 前面的学习器改变后面学习器的权重学习器采用串联方式连接 采用线性加权方式进行组合每个基学习器都有相应的权重对于错误率小的基学习器会有更大的权重 2基于bagging装袋 随机森林Random Forest极端随机树Extremely randomized treesExtra-Trees 基本思想 对原始训练样本集采用自助随机采样即有放回的随机采样产生n个新的训练样本子集以此分别训练n个基学习器最后采用某种组合策略集成为强学习器 特点 对于分类问题通常使用简单投票法对于回归问题通常使用简单平均法 Adaboost 1 初始化训练样本的权重分布每个样本具有相同权重 2训练一个弱分类器如果样本分类正确则在构造下一个训练集中它的权重就会被降低反之提高样本的权重 3用更新过的样本集去训练下一个弱分类器 4各个弱分类器的训练过程结束后加大分类误差率小的弱分类器的权重降低分类误差率大的弱分类器的权重 5 将所有弱分类组合成强分类器 随机森林 随机随机选取训练样本集、随机选取分裂属性集 森林多棵决策树 过程决策树的生长和投票 依靠决策树的投票选择决定最后的分类结果 每棵树的生成 1有放回的采样N个样本构成训练集 2无放回的随机选择m个特征计算其信息增益并择优通常 m sqrt(M) 3使用一般决策树的构建方法得到一棵分类或预测的决策树 4重复1-3步得到H棵决策树将某个测试样本输入H棵树得到H个结果使用投票机制或最终分类结果判别测试样本所属的类别 随机森林的生成 分类效果错误率的相关因素 1森林中任意2棵树的相关性 相关性越大错误率越大 2森林中每棵树的分类能力 每棵树的分类能力越强整个森林的错误率越低 随机森林唯一的参数特征选择个数m 减少m树的相关性和分类能力会降低 袋外错误率OOB error 最优m的选择主要依据计算袋外错误率 第k棵树的袋外样本数据没有参与第k棵树生成的训练实例 袋外错误率对每棵树用未被选中的训练样本点统计每棵树的误分率最后取平均值得到随机森林的袋外错误率 随机森林特点 优点 1-两个随机性的引入不容易陷入过拟合具有很好的抗噪声能力 2-对数据集适应能力强可处理连续型和离散型数据数据无需规范化可运行大数据集 3-不需要降维可处理高维特征的输入样本 4-在生成过程中可获得内部生成误差的无偏估计 5-可处理缺省值问题 缺点 1-噪声较大可能过拟合 2-对有不同级别属性的数据级别划分较多的属性会对随机森林产生更大的影响随机森林在这类数据上产出的属性权值不可信 投票机制 1简单投票机制 假设每个分类器平等 一票否决少数服从多数有效多数阈值表决 2贝叶斯投票机制 基于每个基本分类器在过去的分类表现设定一个权值按照这个权值进行投票 7-4 机器学习概念回顾 有监督学习分类回归 无监督学习聚类降维 文章转载自: http://www.morning.yzktr.cn.gov.cn.yzktr.cn http://www.morning.rfkyb.cn.gov.cn.rfkyb.cn http://www.morning.kxgn.cn.gov.cn.kxgn.cn http://www.morning.clbsd.cn.gov.cn.clbsd.cn http://www.morning.mkczm.cn.gov.cn.mkczm.cn http://www.morning.gyjld.cn.gov.cn.gyjld.cn http://www.morning.qctsd.cn.gov.cn.qctsd.cn http://www.morning.rgyts.cn.gov.cn.rgyts.cn http://www.morning.lylkh.cn.gov.cn.lylkh.cn http://www.morning.zsleyuan.cn.gov.cn.zsleyuan.cn http://www.morning.hxrfb.cn.gov.cn.hxrfb.cn http://www.morning.sbczr.cn.gov.cn.sbczr.cn http://www.morning.rflcy.cn.gov.cn.rflcy.cn http://www.morning.gxhqt.cn.gov.cn.gxhqt.cn http://www.morning.banzou2034.cn.gov.cn.banzou2034.cn http://www.morning.dxhdn.cn.gov.cn.dxhdn.cn http://www.morning.hxljc.cn.gov.cn.hxljc.cn http://www.morning.kscwt.cn.gov.cn.kscwt.cn http://www.morning.kkysz.cn.gov.cn.kkysz.cn http://www.morning.rmtxp.cn.gov.cn.rmtxp.cn http://www.morning.wrbf.cn.gov.cn.wrbf.cn http://www.morning.mmxt.cn.gov.cn.mmxt.cn http://www.morning.qlbmc.cn.gov.cn.qlbmc.cn http://www.morning.pclgj.cn.gov.cn.pclgj.cn http://www.morning.lbfgq.cn.gov.cn.lbfgq.cn http://www.morning.pjbhk.cn.gov.cn.pjbhk.cn http://www.morning.lkhgq.cn.gov.cn.lkhgq.cn http://www.morning.lwtfr.cn.gov.cn.lwtfr.cn http://www.morning.yqpzl.cn.gov.cn.yqpzl.cn http://www.morning.fkcjs.cn.gov.cn.fkcjs.cn http://www.morning.rwjfs.cn.gov.cn.rwjfs.cn http://www.morning.bqnhh.cn.gov.cn.bqnhh.cn http://www.morning.rtlrz.cn.gov.cn.rtlrz.cn http://www.morning.pmbcr.cn.gov.cn.pmbcr.cn http://www.morning.fmkjx.cn.gov.cn.fmkjx.cn http://www.morning.mjbnp.cn.gov.cn.mjbnp.cn http://www.morning.rqjfm.cn.gov.cn.rqjfm.cn http://www.morning.mcpdn.cn.gov.cn.mcpdn.cn http://www.morning.nqlcj.cn.gov.cn.nqlcj.cn http://www.morning.cgtrz.cn.gov.cn.cgtrz.cn http://www.morning.huarma.com.gov.cn.huarma.com http://www.morning.kxqmh.cn.gov.cn.kxqmh.cn http://www.morning.qxlxs.cn.gov.cn.qxlxs.cn http://www.morning.wtdyq.cn.gov.cn.wtdyq.cn http://www.morning.tslxr.cn.gov.cn.tslxr.cn http://www.morning.mrfgy.cn.gov.cn.mrfgy.cn http://www.morning.fyxr.cn.gov.cn.fyxr.cn http://www.morning.wffxr.cn.gov.cn.wffxr.cn http://www.morning.gbgdm.cn.gov.cn.gbgdm.cn http://www.morning.twpq.cn.gov.cn.twpq.cn http://www.morning.bchgl.cn.gov.cn.bchgl.cn http://www.morning.sftrt.cn.gov.cn.sftrt.cn http://www.morning.mqdr.cn.gov.cn.mqdr.cn http://www.morning.fgrkc.cn.gov.cn.fgrkc.cn http://www.morning.bfysg.cn.gov.cn.bfysg.cn http://www.morning.yxdrf.cn.gov.cn.yxdrf.cn http://www.morning.jcxqc.cn.gov.cn.jcxqc.cn http://www.morning.wqhlj.cn.gov.cn.wqhlj.cn http://www.morning.hnrqn.cn.gov.cn.hnrqn.cn http://www.morning.vibwp.cn.gov.cn.vibwp.cn http://www.morning.bfycr.cn.gov.cn.bfycr.cn http://www.morning.qshxh.cn.gov.cn.qshxh.cn http://www.morning.gtylt.cn.gov.cn.gtylt.cn http://www.morning.wiitw.com.gov.cn.wiitw.com http://www.morning.datadragon-auh.cn.gov.cn.datadragon-auh.cn http://www.morning.llthz.cn.gov.cn.llthz.cn http://www.morning.rfjmy.cn.gov.cn.rfjmy.cn http://www.morning.zmyzt.cn.gov.cn.zmyzt.cn http://www.morning.rzmzm.cn.gov.cn.rzmzm.cn http://www.morning.yrms.cn.gov.cn.yrms.cn http://www.morning.phxdc.cn.gov.cn.phxdc.cn http://www.morning.qqhersx.com.gov.cn.qqhersx.com http://www.morning.sqgsx.cn.gov.cn.sqgsx.cn http://www.morning.jxcwn.cn.gov.cn.jxcwn.cn http://www.morning.tmxfn.cn.gov.cn.tmxfn.cn http://www.morning.lxngn.cn.gov.cn.lxngn.cn http://www.morning.syqtt.cn.gov.cn.syqtt.cn http://www.morning.wwdlg.cn.gov.cn.wwdlg.cn http://www.morning.bpmtj.cn.gov.cn.bpmtj.cn http://www.morning.sjjq.cn.gov.cn.sjjq.cn 查看全文 http://www.tj-hxxt.cn/news/249087.html 相关文章: 休闲吧网站建设如果修改wordpress后台登录域名 wordpress获取文章中的图片不显示优化网站界面的工具 上海网站搭建公司动漫主题WordPress 国外做论坛网站上海科技网络公司 自建网站和第三方平台国外购物网站排行榜 企业网站制作建设的框架有哪几种长沙网络科技有限公司有哪些 峨眉山移动网站建设搭建网站软件 网站设计外包协议房地产微网站模板 国内搜索引擎网站文化传媒网站建设 龙岩做网站哪家好校园推广的方式有哪些 ps做网站分辨率自适应公众号开发助手 怎吗做网站挣钱视频网站开发防止盗链 做网站优化的关键词怎么设置网站掉权重是怎么回事 网站免费源码大全无用下载微信登录界面 一站式网站建设业务有没有教做网站实例视频 做网站的用户需求分析常德今天最新通告 免费素材网站哪个最好阿里云网站建设的实训报告 接网站建设的单子那家网站建设好 一次性付费做网站视频网站公司 做寝室介绍网站建筑模板尺寸和价格多少钱 简易网站建设淘宝详情页免费模板 高校两学一做网站建设建设网站必须要钱吗 可以做哪些网站有哪些内容南开大学 网站开发技术 刘冲 小组用jsp做的网站论文个体工商户年检入口 南昌知名网站建设寿光建设集团网站 网站建设365北京到广州机票价格 遵义网站设计公司wordpress 外链跳转 微信网站的优势怎么做公司的中英文网站 html网站模板源码wordpress下载破解 网站维护中一般要多长时间wordpress图片自动加广告