码迷,mamicode.com
首页 > 系统相关 > 详细

andrew ng machine learning week9 异常检测和推荐系统

时间:2018-11-01 16:13:16      阅读:317      评论:0      收藏:0      [点我收藏+]

标签:判断   协同   9.png   改变   core   欺诈   如何   函数   识别   

异常检测

技术分享图片

概率分布的角度:通过判断某个样本的概率分部值和阈值的关系判断是不是异常样本

技术分享图片

异常检测的应用:

1. 在线购物网站如何识别异常用户(欺诈行为或者被盗号)

2. 制造业

3. 检测计算机的运行情况

技术分享图片

高斯分布

技术分享图片

 

技术分享图片

高斯分布开发异常检测算法

技术分享图片

步骤

1. 选择一些异常的特征

2. 计算均值和方差,对于每一个特征来进行计算

技术分享图片

在这个三维立体图中,越高的地方是正常的地方,异常区则是接近平面0的这些点

技术分享图片

如何开发一个关于异常检测的应用

实数评价法的重要性:

技术分享图片

不建议把交叉集和测试集混在一起使用

技术分享图片

算法的评估过程

常用的查准率和召回率、f1-score 

技术分享图片

什么时候用异常检测什么时候用监督学习算法

1. 正样本数目小

2. 大量的负样本

3. 许多不同的异常类型

技术分享图片

技术分享图片

如何设计或选择异常检测算法的特征变量

非高斯特征变量第二种可以通过转换的方式转成钟型曲线

技术分享图片

误差分析步骤

看看没能归为异常的点,看能否启发创建新的特征变量

技术分享图片

选择特征变量的办法:

不会特别大也不会特别小的值,或者相互组合形成新的特征变量

技术分享图片

多元高斯分布

这个×的两个P值都在正常范围内,所以之前的异常检测算法并不能检测出这个错误的绿× 

技术分享图片

多元高斯的概率公式

技术分享图片

协方差矩阵增大和减小所对应的图

技术分享图片

 仅仅减小一个协方差矩阵的变化

技术分享图片

增加对角线上的值的变化

技术分享图片

设置为负值的变化

技术分享图片

改变u值这个圈圈的中心点会移动

技术分享图片

多元高斯的自动检测算法

技术分享图片

 

技术分享图片

和原始模型之间的关系

多元高斯函数的协方差矩阵的对角线是特征变量的方差组成,并且其他部分都是0

技术分享图片

什么时候选择原始什么时候选择高斯模型?

原始的模型使用地更多,运算量更小

m 远远大于 n 的时候使用多元

协方差矩阵奇异:用于特征项梁或者没满足m>>n的条件

技术分享图片

 推荐算法

 技术分享图片

基于内容的推荐系统

技术分享图片

技术分享图片

技术分享图片

技术分享图片

协同过滤

技术分享图片

技术分享图片

这个视频和上一个视频的区别:

技术分享图片

用户的特征、电影的特征如何结合在一起可以同时地计算出来呢?

一个是对于评价某电影的全部用户的求和,一个是某个用户看过的全部电影的求和,也就是所有r(i,j)wei 1de qiuhe 

然后就是两个正则项的相加

技术分享图片

初始化

梯度下降法计算参数

技术分享图片

协同过滤算法的向量化实现过程

技术分享图片

低秩矩阵分解

技术分享图片

两部电影的特征向量非常相似则我们说这两部电影非常相似

技术分享图片

 

技术分享图片

技术分享图片

 

andrew ng machine learning week9 异常检测和推荐系统

标签:判断   协同   9.png   改变   core   欺诈   如何   函数   识别   

原文地址:https://www.cnblogs.com/twomeng/p/9889477.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!