码迷,mamicode.com
首页 > 其他好文 > 详细

【机器学习】--模型评估指标之混淆矩阵,ROC曲线和AUC面积

时间:2018-03-27 12:36:15      阅读:949      评论:0      收藏:0      [点我收藏+]

标签:strong   gpo   过程   blog   面积   公式   div   cal   比较   

一、前述

怎么样对训练出来的模型进行评估是有一定指标的,本文就相关指标做一个总结。

二、具体

1、混淆矩阵

混淆矩阵如图:

技术分享图片

 

 相关公式:

技术分享图片

 公式解释:

 fp_rate:

技术分享图片

tp_rate:

技术分享图片

recall:(召回率)

技术分享图片

值越大越好

presssion:(准确率)

TP:本来是正例,通过模型预测出来是正列

TP+FP:通过模型预测出来的所有正列数(其中包括本来是负例,但预测出来是正列)

 值越大越好

2、ROC曲线

技术分享图片

过程:对第一个样例,预测对,阈值是0.9,所以曲线向上走,以此类推。

          对第三个样例,预测错,阈值是0.7 ,所以曲线向右走,以此类推。

几种情况:

技术分享图片

所以得出结论,曲线在对角线以上,则准确率好。

3、AUC面积

技术分享图片

 

技术分享图片

M是样本中正例数

N是样本中负例数

其中累加解释是把预测出来的所有概率结果按照分值升序排序,然后取正例所对应的索引号进行累加

通过AUC面积预测出来的可以知道好到底有多好,坏到底有多坏。因为正例的索引比较大,则AUC面积越大。

总结:

技术分享图片

 

【机器学习】--模型评估指标之混淆矩阵,ROC曲线和AUC面积

标签:strong   gpo   过程   blog   面积   公式   div   cal   比较   

原文地址:https://www.cnblogs.com/LHWorldBlog/p/8656439.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!