网站优化百度,seo兼职优化,谷歌官网,wordpress图册主题目录
一、PR图、BEP
1.PR图
2.BEP
二、灵敏度、特异度
1.灵敏度
2.特异度
三、真正率、假正率
1.真正率
2.假正率
三、ROC、AUC
1.ROC
2.AUC
四、KS值 一、PR图、BEP
1.PR图
二分类问题模型通常输出的是一个概率值#xff0c;我们需要设定一个阈值#xff…目录
一、PR图、BEP
1.PR图
2.BEP
二、灵敏度、特异度
1.灵敏度
2.特异度
三、真正率、假正率
1.真正率
2.假正率
三、ROC、AUC
1.ROC
2.AUC
四、KS值 一、PR图、BEP
1.PR图
二分类问题模型通常输出的是一个概率值我们需要设定一个阈值让大于这个阈值的时候为正样本其余的为负样本。
如果我们选择不同的阈值我们就可以得到不同的预测结果也就可以得到不同的混淆矩阵从而得到不同的precision值和recall值。P-R图是我们在连续变化的阈值下得到的准确率和召回率的关系。召回率作为横轴将精确率作为纵轴。 PR 图主要有以下用途 权衡 Precision 和 Recall PR 图帮助我们直观地理解在不同阈值下模型的 Precision 和 Recall 的权衡关系。这对于某些应用中 Precision 和 Recall 之间存在权衡关系的情况非常重要例如在医学领域的疾病诊断中我们可能更关注 Recall以确保尽可能多地捕获患者的真实病情。 评估样本不平衡 当数据集中的类别不平衡时PR 图比 ROC 曲线更能准确地反映模型性能。在样本不平衡的情况下ROC 曲线可能给出过于乐观的评估而 PR 图更能反映模型在正类别上的性能。 选择适当的阈值 PR 图可以帮助选择适当的分类阈值以满足特定任务的需求。根据应用场景我们可能更关注 Precision 或 Recall通过观察 PR 图可以更好地理解不同阈值下的模型表现。 比较模型性能 PR 图可用于比较不同模型的性能。具体来说我们可以比较不同模型在保持较高 Precision 的同时实现较高 Recall 的能力或者根据实际需求调整模型的阈值。
下图A模型的曲线完全包住C模型的曲线我们就说A模型比C模型的效果好
B模型的曲线完全包住C模型的曲线我们就说B模型比C模型的效果好
但是A模型和B模型的曲线有交叉我们使用BEP进行比较。 2.BEP
BEP是精确率和召回率的平衡点PR时那一条线。如果模型的PR曲线有交叉我们可以根据BEP来判断模型的好坏。
BEP过于简单我们常用F1值来比较模型。F1值是考虑了召回率和精确率的一个计算指标。 二、灵敏度、特异度
1.灵敏度
灵敏度的计算公式为
灵敏度
灵敏度是在实际的正样本中能够找到正样本的能力。 它和召回率的公式一样它就是召回率。
2.特异度
特异度的计算公式为
特异度
特异度是指在实际所有的负样本中找到正确负样本的能力。
三、真正率、假正率
1.真正率
真正率召回率灵敏度
真正率的含义是在所有实际的正样本下识别为正样本的概率。
2.假正率
误判率 假正率 1 - 特异度
因为特异度是在实际的负样本中找到负样本的能力1-特异度就代表它在所有实际的负样本中找正样本的能力那这肯定不对啦在负样本中怎么能找到正样本呢所有这些正样本是错误的正样本。所以我们把这个概率也叫做假正率。
在我们实际工作中为了避免样本对于精确率和召回率的影响可以使用TPR和FPR。
三、ROC、AUC
1.ROC
ROC曲线是我们在连续变化的阈值下生成不同的正负样本对应出不同的混淆矩阵得到不同的TPR和FPR值所绘制出来的一条曲线它表示TPR和FPR的关系。 图中有一条绿色的直线这条绿的直线代表真正率和假正率概率一样也就是这种分类概率和我们随机猜的概率一样模型效果差不能用。越靠近这条直线模型效果越差这条绿色直线下面的是指绝大多数情况下模型的正样本都预测错了根本不能用。
我们希望的是真正率高假正率低也就是靠近左上方01的位置此时真正率接近于1假正率接近于0
2.AUC
AUC是ROC曲线下面的面积在绿色直线处总面积1被一分为二我们需要直线上面部分的面积这一部分面积的值为0.5-1小于0.5不能用。
0.5 - 0.7效果较低0.7 - 0.85效果一般0.85 - 0.95效果很好0.95 - 1效果非常好一般不可能。要对这个结果持怀疑态度进一步分析模型的准确性。
四、KS值
横坐标为在连续的阈值变化下的正样本的个数概率分数、模型预测数。纵坐标为TPR和FPR。 KS为在某一阈值的正样本数概率分数 下TPR-FPR的值。
KS max(TPR - FPR)
KS用来评估模型好坏样本的区分程度有时候人们会把0.6的KS值乘以100说成60也正确。
KS值的业务标准如下
KS20欠拟合模型不具备可用性KS20 KS30模型可用KS30 KS40 模型预测能力优秀KS40模型区分度很高。我们需要对这个结果持怀疑态度进一步分析模型的准确性。
上边的业务标准是刘老师给出的下面这个是网上大部分资料给出的。
KS: 20% : 差 KS: 20%-40% : 一般 KS: 41%-50% : 好 KS: 51%-75% : 非常好KS: 75% : 过高需要谨慎的验证模型
业务标准根据不同的业务场景而调整并不是一个统一的值。
如果模型的AUC或KS值很高并不是一件好事情。我们要进一步分析模型的准确性避免是因为数据不准确导致的。
五、总结 准确率精准率召回率真正率假正率ROC/AUC-CSDN博客
参考文献 刘海丰——《成为AI产品经理》
声明本文是对于刘海丰老师《成为AI产品经理》课程重点的总结自用请勿传播。
