当前位置: 首页 > news >正文

网站推广营销方案免费发布友链

网站推广营销方案,免费发布友链,网站广告投放,做聚划算网站一、决策树集合 单一决策树会对训练数据的变化很敏感。例子:输入十个数据,判断是否是猫。只替换其中一个数据,信息增益最高的分裂特征就发生了改变,决策树就发生了变化。 使用决策树集合可以使算法更加健壮。例子:使用…

一、决策树集合

单一决策树会对训练数据的变化很敏感。例子:输入十个数据,判断是否是猫。只替换其中一个数据,信息增益最高的分裂特征就发生了改变,决策树就发生了变化。

使用决策树集合可以使算法更加健壮。例子:使用三棵决策树,输入新数据预测是否是猫,然后根据三颗决策树的结果投票决定预测结果。

二、决策树算法

2.1 替换采样

替换采样:从训练数据(数量为M)中随机抽取一个记录下来,把这个数据再放回去,再进行随机抽取,直到采样数量达到M

例子:假设袋子里有四颗不同颜色的积木,替换采样方法:

  • 从袋子里随机取出一个积木(绿色)
  • 然后把该积木放回袋子里,再次随机取出一个积木(黄色)
  • 然后积木放回袋子里,再次随机取出一个积木(蓝色)
  • 然后积木放回袋子里,再次随机取出一个积木(蓝色),此时采样数量一共是4,停止采样。

2.2 袋状决策树

步骤:

  1. 通过对训练集进行有放回的替换采样,生成多个随机训练集。例如训练集一共有m个数据,通过替换采样抽取m个数据组成一个随机训练集,重复B次,生成B个随机训练集。
  2. 在每个随机训练集上训练一颗决策树,一共训练出B棵决策树。
  3. 最终的预测结果通过这B棵决策树的预测结果进行平均或投票来确定

(B一般取一百左右,B如果太大了,就会导致显著减缓计算减缓,但不能显著提高整体的算法性能)

袋状决策树的核心思想是:通过减少模型的方差来提高模型的泛化能力

2.3 随机森林算法

即使有替换采样,生成多个随机训练集,但是通过这些随机训练集训练出的不同模型,有时依旧会存在不同模型在根节点上使用相同的特征进行分裂。因此可以在每个节点分割时,随机选择部分特征,只从这部分特征中选择信息增益最大的特征进行分裂。

步骤

  1. 对原始数据集进行有放回的随机抽样,生成多个随机训练集
  2. 在每个随机训练集上训练一棵决策树。在每个节点分割时,随机选择部分特征进行考虑。例如一共n个特征,随机选取k个特征(k<n,可如 k=\sqrt{n}),从这k个特征中选取信息增益最大的特征进行分裂。
  3. 对所有决策树的预测结果进行平均(回归任务)或投票(分类任务)以得到最终预测结果

随机选取部分特征训练决策树的优点:

  • 减少各决策树之间的相似性,形成的随机森林模型泛化能力更强
  • 提高计算效率:选择少部分特征可以减少计算复杂度,加快模型的训练速度
  • 减轻过拟合:较少的特征值帮助决策树更具随机性

随机森林算法优点:

  • 随机采样:算法对数据进行了大量的小修改,训练集的任何微小变化不会对算法整体有太大影响,提高模型稳定性。
  • 随机特征:不仅加快了训练速度,‌减少了计算开销,‌而且通过增加模型的随机性,‌使得模型对于未见过或未见特征的数据有更好的泛化能力

2.4 XGBoost算法

与 Bagging 不同,Boosting 是一种串行过程,每个基模型在训练时都会关注前一个模型中被错误分类的样本,即每次替换取样时,会有更高概率去选取之前被错误分类的数据,从而不断提高整体模型的准确性

XGBoost算法特点:

  • boosted树拥有很多开源实现
  • 非常快速有效
  • 很好的选择默认分裂标准和停止分裂标准
  • 内置正则化
  • 高竞争算法

XGBoost算法的代码实现:

分类算法:

回归算法:

三、决策树和神经网络对比

3.1 决策树和树集合特点

  • 很好地处理结构化数据(表格数据)
  • 不推荐处理费结构化数据,例如图片、音频和文本
  • 训练快速
  • 小决策树可能是人类可解释的,可以打印出决策树,理解它是如何做决定的

3.2 神经网络特点

  • 很好地处理所有类型数据,包括结构化数据和非结构化数据
  • 训练比决策树慢
  • 可以使用迁移学习
  • 如果正在构建一个由多个机器学习模型协同工作的系统,把多个神经网络串在p一起训练可能比训练多个决策树容易

学习来源:吴恩达机器学习,17.1-17.5节

http://www.tj-hxxt.cn/news/100515.html

相关文章:

  • 美国一个人做的网站宁波seo关键词培训
  • 无组件上传网站营销课程培训视频
  • 龙岗附近公司做网站建设多少钱360优化关键词
  • 高端网站建设服务点击器 百度网盘
  • 网站源码酒类永久免费二级域名申请
  • 今天《新闻联播》回放东莞关键词seo
  • 云岭建设集团的网站搜索风云排行榜
  • 深圳市外贸网站建设多少钱电商平台网站
  • 沈阳唐朝网络推广苏州seo关键词优化报价
  • 做药的文献一般在哪些网站查找电商平台开发需要多少钱
  • 心悦每周免做卡网站短网址在线生成
  • 网站建设需要些什么河北网站seo
  • 番禺网站建设制作大连网站seo
  • 深圳哪几个区最繁华google移动服务应用优化
  • 谷歌网站 百度专业网站优化培训
  • 建设企业网站的规划安徽seo网络优化师
  • 厅网站集约化建设推广网站源码
  • 香港服务器的网站湖人最新排名最新排名
  • 网站建设仪器配置表seo企业建站系统
  • 河北保定建设集团招聘信息网站外贸建站与推广如何做
  • 自己做的网站绑定域名全网营销的公司
  • 用scala做的网站平台推广方式方法是什么
  • 网络服务合同范本大全湖南 seo
  • 做网站红色和什么搭配好sem推广
  • 企业首次建设网站的策划流程网站怎么收录到百度
  • 延安做网站的公司开发一个app需要多少钱?
  • 扁平化网站设计什么软件可以弄排名
  • 顺德网站优化公司营销模式
  • 国资委开展央企网站评估及网站能力建设试点示范工作打造龙头建设示范
  • 个人网站作品欣赏自己怎么建网站