码迷,mamicode.com
首页 > 其他好文 > 详细

数据挖掘导论学习---1

时间:2019-06-08 15:00:20      阅读:96      评论:0      收藏:0      [点我收藏+]

标签:pos   利用   过程   ima   font   ali   童鞋   支持向量机   不同的   

最近在看清华大学数据挖掘导论,图个自己复习省事,把学的东西整理在这里,也希望本菜鸡的整理对一些童鞋有帮助吧。

分类问题:

定义:给定训练集:{(x1,y1),...,(xn,yn)},生成将任何未知对象xi映射到其类标签yi的分类器(函数)。

图示:

技术图片

其经典算法:

  • 决策树
  • KNN
  • 神经网络
  • 支持向量机

注意:我们要的理想分类器是可以得到大部分正确的结果,并不是要达到100%,结果要求平滑。

分类问题算法中的交叉验证:

 

技术图片

过程:

  1. 利用数据中的训练集进行模型的生成。
  2. 利用测试集进行模型的评测(evaluation)
  3. 将评测的结果反馈给生成模型。
  4. 若评测结果比较满意,进行生成模型的输出。否则重新生成。

至于如何进行评测,我们要首先了解一个名词:混淆矩阵(confusion matrix):

技术图片

 

举一个栗子来帮助理解:

我们将性别作为y,即两分类问题中的类别,男,女。我们令男为positive,女为negative。

假若有一人性别为男,其actual value就是positive。如果我们将这个人的属性输入(属性是啥可以自己定咯)模型得到positive,则对应上图的true positive,表明预测成功,得到negative对应false negative,表明将男人预测为女人。反之,则对应其余两个格子。

当然,这一模型的准确率就可以用accuracy = ( TP+TN )/( P+N )(测试集数据结果)为此模型准确率。

下面ROC曲线:

技术图片

来看第一个图!

如果我们还是预测性别,利用身高属性来直接预测的话:

横坐标代表身高,两条线代表男人/女人,中间这个线啊,就是阈值。

紫色部分为TP,FP重合之处。

好,第二个!没啥说的。。。。其下面的1也是对应第一个图中线所围成的面积。

我们看第三个图:

技术图片

如果我们将阈值定为1m,所有预测都是男生。TP为100%,FP为100%。对应第三图右上角(very small threshold)。

如果将阈值定为5m,FP,TP都是0,对应于左下角(very large threshold)。

不同的阈值,对应着此坐标系中不同点的取值。

其中,链接两个对角的对角线为random guess,也就是来一个人,不管什么属性,随机猜,就是这个效果。

理论上,我们希望这条曲线越高越好。为了衡量这条线的好坏,定义AUC。为此线下面的面积,为测试模型好坏的一指标。越接近1,此模型越好。

 

本菜鸡还是初学者,有啥错误希望路过的大神指正。

数据挖掘导论学习---1

标签:pos   利用   过程   ima   font   ali   童鞋   支持向量机   不同的   

原文地址:https://www.cnblogs.com/jameschou/p/10989908.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!