做卷子的网站,在线课程网站开发任务书,济南官网排名推广,江门北京网站建设目录
引言
概述
CART决策树的特点
核心思想
减少不确定性的指标
基尼系数#xff08;Gini Index#xff09;
分类错误率
熵
银行实例
背景
数据准备
模型构建
模型评估与优化
应用与结果
代码示例 ✈✈✈✈引言✈✈✈✈ CART算法既可以用于分类问题#xff0…目录
引言
概述
CART决策树的特点
核心思想
减少不确定性的指标
基尼系数Gini Index
分类错误率
熵
银行实例
背景
数据准备
模型构建
模型评估与优化
应用与结果
代码示例 ✈✈✈✈引言✈✈✈✈ CART算法既可以用于分类问题也可以用于回归问题这使得它在多个领域都有广泛的应用。例如在电商推荐系统中CART算法可以用于构建商品推荐模型提高用户购物体验和销售额在金融风控领域CART算法可以应用于信用评分和欺诈检测等场景帮助银行和其他金融机构降低风险。 相比于其他决策树算法如ID3和C4.5CART算法具有更强的适用性。它既可以处理离散型数据也可以处理连续型数据这使得CART算法能够处理更加复杂和多样化的数据集。 CART决策树生成的模型具有直观易懂的特点每个节点和分支都代表了数据集中的一种模式或规则。这使得非专业人士也能够理解模型的工作原理增加了模型的可信度和接受度。 今天来学习一下CART决策树吧 ✈其他文章详见✈ 【机器学习】机器的登神长阶——AIGC-CSDN博客 【Linux】进程地址空间-CSDN博客【linux】进程控制——进程创建进程退出进程等待-CSDN博客 ⭐⭐⭐概述⭐⭐⭐
CARTClassification and Regression Trees决策树是一种以基尼系数为核心评估指标的机器学习算法适用于分类和回归任务。
CART决策树基于“递归二元切分”的方法通过将数据集逐步分解为两个子集来构建决策树。CART既能作为分类树预测离散型数据也能作为回归树预测连续型数据。外观类似于二叉树。
对于每个节点计算所有非类标号属性的基尼系数增益选择增益值最大的属性作为决策树的划分特征。
通过递归的方式将数据子集和分裂规则分解为一个二叉树其中叶节点表示具体的类别分类树或预测值回归树。
CART决策树的特点 简单易懂计算简单易于理解可解释性强。 处理缺失值比较适合处理有缺失属性的样本。 处理大型数据集能够在相对短的时间内对大型数据源得出可行且效果良好的结果。 模型复杂度可以通过限制决策树的最大深度或叶子节点的最小样本数来控制模型的复杂度。 过拟合风险CART决策树容易出现过拟合现象生成的决策树可能对训练数据有很好的分类能力但对未知的测试数据未必有很好的分类能力。 在线学习CART决策树不支持在线学习当有新的样本产生后决策树模型需要重建。 以scikit-learn库中的CART决策树分类器为例演示如何使用CART决策树进行分类任务
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score # 加载鸢尾花数据集
iris load_iris()
X iris.data
y iris.target # 划分训练集和测试集
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3, random_state42) # 创建CART决策树分类器对象使用默认参数即为CART决策树
clf DecisionTreeClassifier(random_state42) # 使用训练数据拟合模型
clf.fit(X_train, y_train) # 使用测试数据进行预测
y_pred clf.predict(X_test) # 计算并打印准确率
accuracy accuracy_score(y_test, y_pred)
print(Accuracy:, accuracy)
核心思想
特征1特征2目标值111101111101011000010000
有两种决策树的构建方法
以不同的特征作为根节点会有不同的模型
示例一 示例二 对于以特征一为根节点的树来说传入参数为1大概率会得到 1。传入参数为 0 大概率会得到 0。
对于以特征二为根节点的树来说传入参数为1大概率会得到 1。传入参数为 0 输出 1 的概率和输出0的概率是相等的。这样的决策树的不确定性太高。
综上应以以特征1为根节点 ✌✌减少不确定性的指标✌✌ 基尼系数Gini Index
基尼系数是CART决策树中用于分类任务的一个评估指标用于衡量数据集的不确定性。基尼系数的值介于0和1之间值越大表示数据集的不确定性越高纯度越低。
对于包含K个类别的数据集D其基尼系数的定义为
Gini(D)1−∑k1Kpk2
其中pk表示第k个类别在数据集D中出现的概率。
当使用某个特征A对数据进行划分时划分后数据集D的基尼系数定义为
Gini(D,A)∣D∣∣D1∣Gini(D1)∣D∣∣D2∣Gini(D2)
其中D1和D2表示按照特征A进行划分后得到的两个子集∣D∣、∣D1∣和∣D2∣分别表示数据集D、D1和D2的样本数量。
分类错误率
CART决策树的分类错误率是指在使用CART算法构建的决策树模型对测试集进行分类时错误分类的样本数占总样本数的比例。错误率的计算依赖于具体的数据集和模型表现。
在CART决策树的构建过程中为了降低分类错误率通常会使用诸如Gini指数Gini Index或信息增益Information Gain等度量标准来选择最佳划分特征。CART算法倾向于选择那些能够使得划分后子节点纯度更高的特征即分类错误率更低的特征。
CART决策树的分类错误率可以通过以下步骤计算 数据准备首先需要有一个已经标记好类别的数据集并将其划分为训练集和测试集。 模型训练使用训练集来训练CART决策树模型。在这个过程中模型会基于Gini指数或其他度量标准来选择最佳划分特征并递归地构建决策树。 模型评估将训练好的CART决策树模型应用于测试集并对测试集中的每个样本进行分类。 计算错误率统计测试集中被错误分类的样本数并将其除以测试集的总样本数得到CART决策树的分类错误率。 需要注意的是CART决策树的分类错误率会受到多种因素的影响包括数据集的特性、特征的选择、树的深度即剪枝的程度等。因此在实际应用中通常需要通过交叉验证等技术来评估模型的表现并选择最优的模型参数。
此外对于不同的数据集和任务CART决策树的分类错误率也会有所不同。在一些复杂的数据集上CART决策树可能难以达到很低的错误率但在一些简单的数据集上CART决策树可以取得很好的效果。因此在选择使用CART决策树时需要根据具体的应用场景和数据集特性来评估其适用性。
熵
CART决策树在分类任务中并不直接使用熵Entropy作为划分标准而是采用基尼不纯度Gini Impurity或者说基尼系数。
熵是信息论中的一个重要概念用于衡量数据的不确定性或混乱程度。
在决策树中熵通常用于ID3算法作为划分数据集的特征选择。
熵的计算公式为
(H(X) -\sum_{i1}^{n} p(x_i) \log_2 p(x_i))其中(p(x_i))是某个类别在数据集中的比例。 CART决策树与熵的关系 不直接使用熵CART决策树在分类任务中不直接使用熵作为划分标准而是采用基尼不纯度。 基尼不纯度基尼不纯度也是衡量数据混乱程度的一个指标但计算上更为简单。其计算公式为(Gini(D) 1 - \sum_{i1}{n} p(x_i)2)其中(p(x_i))是类别(i)在数据集(D)中的概率。 选择划分特征CART决策树通过计算每个特征的基尼不纯度增益来选择最佳划分特征。基尼不纯度增益定义为父节点的基尼不纯度减去所有子节点基尼不纯度的加权平均。 CART决策树的特征选择CART决策树通过递归地将数据集划分为越来越小的子集来构建决策树。 在每个节点上CART决策树会评估每个特征并选择能够最大程度地减少基尼不纯度的特征进行划分。 通过不断地划分CART决策树可以逐渐构建出一个高效的分类器。 银行实例 背景
一家大型银行为了提高信贷审批的效率和准确性决定采用决策树算法来辅助审批过程。银行收集了包括客户年龄、收入、信用记录等多个维度的数据这些数据将作为特征数据输入到决策树模型中。
数据准备 数据收集银行从客户档案、信贷申请表中提取关键信息如年龄、收入、职业、信用历史等。 数据清洗对收集到的数据进行清洗去除重复、错误或无效的数据确保数据的准确性和可靠性。 特征选择从所有可能的特征中选择对分类有较大贡献的特征。在信贷审批中通常会选择年龄、收入、信用记录等作为关键特征。 模型构建 数据划分将清洗后的数据集划分为训练集和测试集。训练集用于构建决策树模型测试集用于评估模型的性能。 构建决策树从根节点开始递归地选择最优特征对数据进行划分。在信贷审批中例如第一个节点可能根据年龄进行划分将客户分为青年、中年和老年三组。然后在每个子节点上再根据其他特征如收入、信用记录等进行进一步的划分。 计算节点纯度计算每个节点的纯度即该节点下数据属于同一类别的比例。纯度越高说明该节点下的数据越纯净分类效果越好。 停止条件当节点中的样本数量低于预定阈值、节点纯度达到预定阈值或树的深度达到预定阈值时停止划分并生成叶节点。叶节点对应于最终的决策结果如“批准贷款”或“拒绝贷款”。 模型评估与优化 评估模型性能使用测试集评估构建好的决策树模型的性能。常用的评估指标包括准确率、召回率、F1值等。通过评估结果可以了解模型在信贷审批中的表现。 模型优化如果模型性能不佳可以通过调整参数如树的深度、最小样本数等或采用集成学习如随机森林等方法来优化模型。 应用与结果 自动化审批将构建好的决策树模型集成到银行的信贷审批系统中实现自动化审批。当客户提交信贷申请时系统可以自动调用模型进行预测并给出审批结果。 提高审批效率通过自动化审批银行可以大大提高审批效率减少人工干预和等待时间据统计采用决策树算法后贷款审批的准确率提高了10%审批时间缩短了30%。 优化客户体验客户可以更快地获得审批结果提高了客户满意度和忠诚度。同时银行也能更准确地识别高风险客户降低信贷风险。 代码示例
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score # 1. 数据准备
# 假设数据集为credit_data.csv包含Age, Income, Credit_History, Loan_Status等列
data pd.read_csv(credit_data.csv) # 查看数据前几行
print(data.head()) # 假设Loan_Status是目标变量其中Y表示批准贷款N表示拒绝贷款
X data[[Age, Income, Credit_History]] # 特征变量
y data[Loan_Status].map({Y: 1, N: 0}) # 目标变量转换为0和1 # 2. 数据划分
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 3. 模型构建
clf DecisionTreeClassifier(random_state42) # 创建决策树分类器
clf.fit(X_train, y_train) # 训练模型 # 4. 预测与评估
y_pred clf.predict(X_test) # 对测试集进行预测
accuracy accuracy_score(y_test, y_pred) # 计算准确率 print(fAccuracy: {accuracy}) # 5. 可视化决策树可选对于较大的树可能不易阅读
# 需要安装 graphviz 和 pydotplus 库
# from sklearn.tree import export_graphviz
# import pydotplus
# dot_data export_graphviz(clf, out_fileNone,
# feature_namesX.columns,
# class_names[No, Yes],
# filledTrue, roundedTrue,
# special_charactersTrue)
# graph pydotplus.graph_from_dot_data(dot_data)
# graph.write_png(loan_approval_tree.png) # 注意可视化部分可能需要额外的库并且对于复杂的树可能不太实用。
文章转载自： http://www.morning.fhtmp.cn.gov.cn.fhtmp.cn http://www.morning.plnry.cn.gov.cn.plnry.cn http://www.morning.wqgr.cn.gov.cn.wqgr.cn http://www.morning.zlff.cn.gov.cn.zlff.cn http://www.morning.bnlch.cn.gov.cn.bnlch.cn http://www.morning.dfhkh.cn.gov.cn.dfhkh.cn http://www.morning.yrjhr.cn.gov.cn.yrjhr.cn http://www.morning.kpbq.cn.gov.cn.kpbq.cn http://www.morning.ryzgp.cn.gov.cn.ryzgp.cn http://www.morning.zzgtdz.cn.gov.cn.zzgtdz.cn http://www.morning.kyctc.cn.gov.cn.kyctc.cn http://www.morning.txqgd.cn.gov.cn.txqgd.cn http://www.morning.hhrpy.cn.gov.cn.hhrpy.cn http://www.morning.rbbyd.cn.gov.cn.rbbyd.cn http://www.morning.sskns.cn.gov.cn.sskns.cn http://www.morning.dtcsp.cn.gov.cn.dtcsp.cn http://www.morning.fnhxp.cn.gov.cn.fnhxp.cn http://www.morning.kczkq.cn.gov.cn.kczkq.cn http://www.morning.ynrzf.cn.gov.cn.ynrzf.cn http://www.morning.dtnjr.cn.gov.cn.dtnjr.cn http://www.morning.jfwrf.cn.gov.cn.jfwrf.cn http://www.morning.knczz.cn.gov.cn.knczz.cn http://www.morning.xhgcr.cn.gov.cn.xhgcr.cn http://www.morning.newfeiya.com.cn.gov.cn.newfeiya.com.cn http://www.morning.fylqz.cn.gov.cn.fylqz.cn http://www.morning.gqfks.cn.gov.cn.gqfks.cn http://www.morning.tktyh.cn.gov.cn.tktyh.cn http://www.morning.wmhqd.cn.gov.cn.wmhqd.cn http://www.morning.lsbjj.cn.gov.cn.lsbjj.cn http://www.morning.bfycr.cn.gov.cn.bfycr.cn http://www.morning.jhrlk.cn.gov.cn.jhrlk.cn http://www.morning.chfxz.cn.gov.cn.chfxz.cn http://www.morning.djbhz.cn.gov.cn.djbhz.cn http://www.morning.kkysz.cn.gov.cn.kkysz.cn http://www.morning.wrtsm.cn.gov.cn.wrtsm.cn http://www.morning.hdtcj.cn.gov.cn.hdtcj.cn http://www.morning.dlrsjc.com.gov.cn.dlrsjc.com http://www.morning.qlpyn.cn.gov.cn.qlpyn.cn http://www.morning.jfmyt.cn.gov.cn.jfmyt.cn http://www.morning.qsyyp.cn.gov.cn.qsyyp.cn http://www.morning.pnntx.cn.gov.cn.pnntx.cn http://www.morning.rtsd.cn.gov.cn.rtsd.cn http://www.morning.rqhn.cn.gov.cn.rqhn.cn http://www.morning.pdwzr.cn.gov.cn.pdwzr.cn http://www.morning.rdxnt.cn.gov.cn.rdxnt.cn http://www.morning.bmzxp.cn.gov.cn.bmzxp.cn http://www.morning.gjcdr.cn.gov.cn.gjcdr.cn http://www.morning.xphcg.cn.gov.cn.xphcg.cn http://www.morning.lhgkr.cn.gov.cn.lhgkr.cn http://www.morning.tphrx.cn.gov.cn.tphrx.cn http://www.morning.nyplp.cn.gov.cn.nyplp.cn http://www.morning.qcfgd.cn.gov.cn.qcfgd.cn http://www.morning.lnbcx.cn.gov.cn.lnbcx.cn http://www.morning.rkyw.cn.gov.cn.rkyw.cn http://www.morning.qphdp.cn.gov.cn.qphdp.cn http://www.morning.rongxiaoman.com.gov.cn.rongxiaoman.com http://www.morning.qgjxy.cn.gov.cn.qgjxy.cn http://www.morning.djpzg.cn.gov.cn.djpzg.cn http://www.morning.wrbx.cn.gov.cn.wrbx.cn http://www.morning.mnsmb.cn.gov.cn.mnsmb.cn http://www.morning.wlddq.cn.gov.cn.wlddq.cn http://www.morning.ndmbz.cn.gov.cn.ndmbz.cn http://www.morning.znlhc.cn.gov.cn.znlhc.cn http://www.morning.ydzly.cn.gov.cn.ydzly.cn http://www.morning.sjpht.cn.gov.cn.sjpht.cn http://www.morning.zwdrz.cn.gov.cn.zwdrz.cn http://www.morning.znnsk.cn.gov.cn.znnsk.cn http://www.morning.jwskq.cn.gov.cn.jwskq.cn http://www.morning.jrqbr.cn.gov.cn.jrqbr.cn http://www.morning.gskzy.cn.gov.cn.gskzy.cn http://www.morning.nldsd.cn.gov.cn.nldsd.cn http://www.morning.kzxlc.cn.gov.cn.kzxlc.cn http://www.morning.xxhc.cn.gov.cn.xxhc.cn http://www.morning.joinyun.com.gov.cn.joinyun.com http://www.morning.jcypk.cn.gov.cn.jcypk.cn http://www.morning.xylxm.cn.gov.cn.xylxm.cn http://www.morning.prqdr.cn.gov.cn.prqdr.cn http://www.morning.mplb.cn.gov.cn.mplb.cn http://www.morning.xoaz.cn.gov.cn.xoaz.cn http://www.morning.hypng.cn.gov.cn.hypng.cn
