中国在菲律宾做网站,wordpress拖拽式建站主题,去哪儿网站开发,网站站群建设方案评价指标
1、准确率、召回率、精确率、F-度量、ROC
属于各类的样本的并不是均一分布#xff0c;甚至其出现概率相差很多个数量级#xff0c;这种分类问题称为不平衡类问题。在不平衡类问题中#xff0c;准确率并没有多大意义#xff0c;我们需要一些别的指标。
通…评价指标
1、准确率、召回率、精确率、F-度量、ROC
属于各类的样本的并不是均一分布甚至其出现概率相差很多个数量级这种分类问题称为不平衡类问题。在不平衡类问题中准确率并没有多大意义我们需要一些别的指标。
通常在不平衡类问题中我们使用F-度量来作为评价模型的指标。以二元不平衡分类问题为例预测只可能出现4种状况
a) 将正类样本预测为正类True Positive, TP b) 将负类样本预测为正类False Positive, FP
c) 将正类样本预测为负类False Negative, FN d) 将负类样本预测为负类True Negative, TN
对于测试集中 N N N个样本有 M M M个被正确分类则准确率(正确率)为 准确率 ( A c c u r a c y ) M N 准确率(Accuracy) \frac{M}{N} 准确率(Accuracy)NM
定义召回率recall不能接受漏报,预测到所有想被预测到的样本 召回率 ( r e c a l l ) 被预测为正类的 原本的正类 ∣ T P ∣ ∣ T P ∣ ∣ F N ∣ 召回率(recall)\frac{被预测为正类的}{原本的正类}\frac{|TP|}{|TP||FN|} 召回率(recall)原本的正类被预测为正类的∣TP∣∣FN∣∣TP∣ 定义精确率(precision)不能接受误检,预测结果尽可能不出错 精确率 ( p r e c i s i o n ) 被预测为正类的 预测的正类 ∣ T P ∣ ∣ T P ∣ ∣ F P ∣ 精确率(precision)\frac{被预测为正类的}{预测的正类}\frac{|TP|}{|TP||FP|} 精确率(precision)预测的正类被预测为正类的∣TP∣∣FP∣∣TP∣ F F F-度量则是在召回率与精确率之间去调和平均数 F α ( 1 α 2 ) R P R α P F 1 2 R P R P F_{ \alpha}\frac{(1\alpha ^2)RP}{R\alpha P}\\ F_{1}\frac{2RP}{RP} FαRαP(1α2)RPF1RP2RP
精确率分母是预测到的正类精确率的提出是让模型的现有预测结果尽可能不出错(宁愿漏检也不能让现有的预测有错)
以地震模型为例说就是宁愿地震了没报也不能误报地震比如说为了不错报只预测了第50天可能发生地震此时的
1.精确率1/1100%
2.召回率1/250%
虽然有一次地震没预测到但是我们做出的预测都是对的。
召回率分母是原本的正类召回率的提出是让模型预测到所有想被预测到的样本(就算多预测一些错的也能接受)
以地震模型为例说这100次地震比如说为了不漏报预测了第30天、50天、51天、70天、85天地震此时的
1.精确率2/540%
2.召回率2/2100%
虽然预测错了3次但是我们把会造成灾难的2次地震全预测到了。
精确率和召回率有什么用为什么需要它通俗讲解(人话)
上面我们已经讲的很清楚了这里以两种需求为例
预测地震 - 不能接受漏报人脸识别支付(银行人脸支付) - 不能接受误检
人脸识别支付主要提升精确率更倾向于不能出现错误的预测。
应用场景你刷脸支付时就算几次没检测到你的脸最多会让你愤怒对银行损失不大但是如果把你的脸检测成别人的脸就会出现金融风险让别人替你买单对银行损失很大。所以宁愿让你付不了钱也不会让别人帮你付钱。
预测地震主要提升召回率更倾向于宁愿多预测一些错的也不能漏检。
应用场景地震预测时宁愿多预测一些错的也不想漏掉一次地震预测错误最多会让大家多跑几趟造成少量损失。只要预测对一次就会挽回百亿级别的损失之前所有的损失都值了。
ROC曲线(Receiver Operating Characteristic,受试者操作特征) 通常情况下我们希望ROC曲线越靠近左上角这表示模型在各种阈值下都表现良好同时具有高的真正率和低的假正率而AUC值曲线下面积也可以用来衡量模型的整体性能越接近1表示模型性能越好。
画ROC曲线步骤
根据分类模型得出每个样本属于正类的概率根据概率将样本由高到低排列将样本为正类的概率由高到低依次作为阈值 t t t大于等于 t t t则为正类小于t视为反类使用真正率 T P R T P T P F N TPR\frac{TP}{TPFN} TPRTPFNTP作为竖轴假正率 F P R F P F P T N FPR\frac{FP}{FPTN} FPRFPTNFP作为横轴对于每个选定的阈值均能产生一个对应的点。
例子
样本编号分类预测为正类的概率TPRFPR1正类0.98 1 1 14 1 15 \frac{1}{114}\frac{1}{15} 1141151 0 0 5 0 5 \frac{0}{05}\frac{0}{5} 050502正类0.96 2 2 13 2 15 \frac{2}{213}\frac{2}{15} 2132152 0 0 5 0 5 \frac{0}{05}\frac{0}{5} 050503正类0.92 3 3 12 3 15 \frac{3}{312}\frac{3}{15} 3123153 0 0 5 0 5 \frac{0}{05}\frac{0}{5} 050504正类0.88 4 4 11 4 15 \frac{4}{411}\frac{4}{15} 4114154 0 0 5 0 5 \frac{0}{05}\frac{0}{5} 050505正类0.85 5 5 10 5 15 \frac{5}{510}\frac{5}{15} 5105155 0 0 5 0 5 \frac{0}{05}\frac{0}{5} 050506正类0.83 6 6 9 6 15 \frac{6}{69}\frac{6}{15} 696156 0 0 5 0 5 \frac{0}{05}\frac{0}{5} 050507反类0.82 6 6 9 6 15 \frac{6}{69}\frac{6}{15} 696156 1 1 4 1 5 \frac{1}{14}\frac{1}{5} 141518正类0.8 7 7 8 7 15 \frac{7}{78}\frac{7}{15} 787157 1 1 4 1 5 \frac{1}{14}\frac{1}{5} 141519正类0.78 8 8 7 8 15 \frac{8}{87}\frac{8}{15} 878158 1 1 4 1 5 \frac{1}{14}\frac{1}{5} 1415110反类0.71 8 8 7 8 15 \frac{8}{87}\frac{8}{15} 878158 2 2 3 2 5 \frac{2}{23}\frac{2}{5} 2325211正类0.68 9 9 6 9 15 \frac{9}{96}\frac{9}{15} 969159 2 2 3 2 5 \frac{2}{23}\frac{2}{5} 2325212正类0.64 10 10 5 10 15 \frac{10}{105}\frac{10}{15} 105101510 2 2 3 2 5 \frac{2}{23}\frac{2}{5} 2325213正类0.59 11 11 4 11 15 \frac{11}{114}\frac{11}{15} 114111511 2 2 3 2 5 \frac{2}{23}\frac{2}{5} 2325214正类0.55 12 12 3 12 15 \frac{12}{123}\frac{12}{15} 123121512 2 2 3 2 5 \frac{2}{23}\frac{2}{5} 2325215反类0.52 12 12 3 12 15 \frac{12}{123}\frac{12}{15} 123121512 3 3 2 3 5 \frac{3}{32}\frac{3}{5} 3235316正类0.51 13 13 2 13 15 \frac{13}{132}\frac{13}{15} 132131513 3 3 2 3 5 \frac{3}{32}\frac{3}{5} 3235317正类0.5 14 14 1 14 15 \frac{14}{141}\frac{14}{15} 141141514 3 3 2 3 5 \frac{3}{32}\frac{3}{5} 3235318反类0.48 14 14 1 14 15 \frac{14}{141}\frac{14}{15} 141141514 4 4 1 4 5 \frac{4}{41}\frac{4}{5} 4145419正类0.42 15 15 0 15 15 \frac{15}{150}\frac{15}{15} 150151515 4 4 1 4 5 \frac{4}{41}\frac{4}{5} 4145420反类0.2 15 15 0 15 15 \frac{15}{150}\frac{15}{15} 1501515151 数字表示转折点对应样本编号 ROC曲线下方面积为 A U C AUC AUC, A U C AUC AUC值越大表示分类模型的预测准确性越高 R O C ROC ROC曲线越光滑一般表示过拟合现象较轻为什么 2.各项指标的python实现以logistic回归为例
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import accuracy_score, precision_score, recall_score, roc_curve, auc
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
plt.rcParams[font.sans-serif][STKaiTi] #用来正常显示中文标签
plt.rcParams[axes.unicode_minus]False #用来正常显示负号
# 创建一个示例分类数据集
X, y make_classification(n_samples1000, n_features20, random_state42)# 将数据集分成训练集和测试集
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3, random_state42)# 训练一个分类模型例如Logistic回归
model LogisticRegression(random_state42)
model.fit(X_train, y_train)# 在测试集上进行预测
y_pred model.predict(X_test)# 计算准确率
accuracy accuracy_score(y_test, y_pred)
print(f准确率 (Accuracy): {accuracy:.2f})# 计算召回率
recall recall_score(y_test, y_pred)
print(f召回率 (Recall): {recall:.2f})# 计算精确率
precision precision_score(y_test, y_pred)
print(f精确率 (Precision): {precision:.2f})# 计算F1指标
F1 2*recall*precision/(recall precision)
print(fF1{F1})#ROC曲线和AUC值
fpr, tpr, thresholds roc_curve(y_test, model.predict_proba(X_test)[:, 1])
roc_auc auc(fpr, tpr)# 可视化ROC曲线
plt.figure(figsize(10, 6),dpi 300)
plt.plot(fpr, tpr, colordarkorange, lw2, labelfROC曲线 (AUC {roc_auc:.2f}))
plt.plot([0, 1], [0, 1], colornavy, lw2, linestyle--)
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel(假正率 (False Positive Rate))
plt.ylabel(真正率 (True Positive Rate))
plt.title(ROC曲线)
plt.legend(loclower right)
plt.show()
结果 准确率 (Accuracy): 0.85 召回率 (Recall): 0.83 精确率 (Precision): 0.88 F10.8504983388704319
评价方法
保留法划分训练集于测试集比例不清楚没有k-折交叉验证好k-折交叉验证将样本随机划分为k个大小相等的子集在每一轮交叉验证种选择一个子集作为测试集重复k轮保证每个子集都作为测试集出现对k轮检验结果取平均值作为评价表中蒙特卡洛交叉验证多次保留法某些样本可能只出现在测试集中 文章转载自： http://www.morning.ddjp.cn.gov.cn.ddjp.cn http://www.morning.sjpht.cn.gov.cn.sjpht.cn http://www.morning.mznqz.cn.gov.cn.mznqz.cn http://www.morning.gfprf.cn.gov.cn.gfprf.cn http://www.morning.khtyz.cn.gov.cn.khtyz.cn http://www.morning.tkxyx.cn.gov.cn.tkxyx.cn http://www.morning.kmlmf.cn.gov.cn.kmlmf.cn http://www.morning.dmtld.cn.gov.cn.dmtld.cn http://www.morning.nnqrb.cn.gov.cn.nnqrb.cn http://www.morning.dztp.cn.gov.cn.dztp.cn http://www.morning.srwny.cn.gov.cn.srwny.cn http://www.morning.zbkwj.cn.gov.cn.zbkwj.cn http://www.morning.jlktz.cn.gov.cn.jlktz.cn http://www.morning.zlkps.cn.gov.cn.zlkps.cn http://www.morning.nmfwm.cn.gov.cn.nmfwm.cn http://www.morning.mljtx.cn.gov.cn.mljtx.cn http://www.morning.qzxb.cn.gov.cn.qzxb.cn http://www.morning.sbrpz.cn.gov.cn.sbrpz.cn http://www.morning.ykgp.cn.gov.cn.ykgp.cn http://www.morning.rkwlg.cn.gov.cn.rkwlg.cn http://www.morning.sqhlx.cn.gov.cn.sqhlx.cn http://www.morning.kgfsz.cn.gov.cn.kgfsz.cn http://www.morning.mqgqf.cn.gov.cn.mqgqf.cn http://www.morning.nbqwt.cn.gov.cn.nbqwt.cn http://www.morning.rdnkx.cn.gov.cn.rdnkx.cn http://www.morning.mdwlg.cn.gov.cn.mdwlg.cn http://www.morning.dbrpl.cn.gov.cn.dbrpl.cn http://www.morning.wjxtq.cn.gov.cn.wjxtq.cn http://www.morning.gstg.cn.gov.cn.gstg.cn http://www.morning.qggcc.cn.gov.cn.qggcc.cn http://www.morning.jytrb.cn.gov.cn.jytrb.cn http://www.morning.yfpnl.cn.gov.cn.yfpnl.cn http://www.morning.zwckz.cn.gov.cn.zwckz.cn http://www.morning.npmpn.cn.gov.cn.npmpn.cn http://www.morning.fbxdp.cn.gov.cn.fbxdp.cn http://www.morning.sgtq.cn.gov.cn.sgtq.cn http://www.morning.qztsq.cn.gov.cn.qztsq.cn http://www.morning.jlxqx.cn.gov.cn.jlxqx.cn http://www.morning.nmfxs.cn.gov.cn.nmfxs.cn http://www.morning.hpnhl.cn.gov.cn.hpnhl.cn http://www.morning.mspkz.cn.gov.cn.mspkz.cn http://www.morning.hxfrd.cn.gov.cn.hxfrd.cn http://www.morning.qnpyz.cn.gov.cn.qnpyz.cn http://www.morning.tlbhq.cn.gov.cn.tlbhq.cn http://www.morning.wyrkp.cn.gov.cn.wyrkp.cn http://www.morning.ttnfc.cn.gov.cn.ttnfc.cn http://www.morning.diuchai.com.gov.cn.diuchai.com http://www.morning.wwklf.cn.gov.cn.wwklf.cn http://www.morning.diuchai.com.gov.cn.diuchai.com http://www.morning.nrddx.com.gov.cn.nrddx.com http://www.morning.yltyr.cn.gov.cn.yltyr.cn http://www.morning.pffx.cn.gov.cn.pffx.cn http://www.morning.rybr.cn.gov.cn.rybr.cn http://www.morning.jygsq.cn.gov.cn.jygsq.cn http://www.morning.tygn.cn.gov.cn.tygn.cn http://www.morning.tlpgp.cn.gov.cn.tlpgp.cn http://www.morning.hxxzp.cn.gov.cn.hxxzp.cn http://www.morning.mrfbp.cn.gov.cn.mrfbp.cn http://www.morning.gediba.com.gov.cn.gediba.com http://www.morning.txzmy.cn.gov.cn.txzmy.cn http://www.morning.nwmwp.cn.gov.cn.nwmwp.cn http://www.morning.pzrnf.cn.gov.cn.pzrnf.cn http://www.morning.cwjxg.cn.gov.cn.cwjxg.cn http://www.morning.qmbgb.cn.gov.cn.qmbgb.cn http://www.morning.attorneysportorange.com.gov.cn.attorneysportorange.com http://www.morning.nsyzm.cn.gov.cn.nsyzm.cn http://www.morning.dlrsjc.com.gov.cn.dlrsjc.com http://www.morning.hslgq.cn.gov.cn.hslgq.cn http://www.morning.ckzjl.cn.gov.cn.ckzjl.cn http://www.morning.dkmzr.cn.gov.cn.dkmzr.cn http://www.morning.jbblf.cn.gov.cn.jbblf.cn http://www.morning.wspyb.cn.gov.cn.wspyb.cn http://www.morning.ahscrl.com.gov.cn.ahscrl.com http://www.morning.fqzz3.cn.gov.cn.fqzz3.cn http://www.morning.zpqk.cn.gov.cn.zpqk.cn http://www.morning.lhyhx.cn.gov.cn.lhyhx.cn http://www.morning.mzjbz.cn.gov.cn.mzjbz.cn http://www.morning.xgchm.cn.gov.cn.xgchm.cn http://www.morning.madamli.com.gov.cn.madamli.com http://www.morning.sglcg.cn.gov.cn.sglcg.cn
