异常点检测算法

标签：logs   取值   扩展   cbo   简单的   基于   计算   over   out   

基于统计学的方法

一、基于正态分布的一元离群点检测方法

假设有 n 个点$(x_1, ...,x_n)$, 那么可以计算出这n个点的均值$\mu$和方差$\sigma$.均值和方差分别被定义为：

在正态分布的假设下，区域$\mu +- 3 \sigma$包含了99.7% 的数据，如果某个值距离分布的均值$\mu$超过了$3 \sigma$,那么这个值就可以被简单的标记为一个异常点（outlier）。

二、多元离群点的检测方法

涉及两个或者两个以上变量的数据称为多元数据，很多一元离群点的检测方法都可以扩展到高维空间中，从而处理多元数据。

 1）基于一元正态分布的离群点检测方法

假设n维的数据集合形如，那么可以计算每个维度的均值和方差，具体来说，对于 ，可以计算

在正态分布的假设下，如果有一个新的数据，可以计算概率如下：

根据概率值的大小就可以判断 x 是否属于异常值。

 2）多元高斯分布的异常点检测

假设 n 维的数据集合 ，可以计算 n 维的均值向量

和  的协方差矩阵：

如果有一个新的数据 ，可以计算

根据概率值的大小就可以判断  是否属于异常值。

 3）使用Mahalanobis距离检测多元离群点

对于一个多维的数据集合 D，假设  是均值向量，那么对于数据集 D 中的其他对象 ，从  到  的 Mahalanobis 距离是

其中  是协方差矩阵。

在这里， 是数值，可以对这个数值进行排序，如果数值过大，那么就可以认为点  是离群点。或者对一元实数集合  进行离群点检测，如果  被检测为异常点，那么就认为  在多维的数据集合 D 中就是离群点。

 4）使用统计量检测多元离群点

在正态分布的假设下， 统计量可以用来检测多元离群点。对于某个对象 ， 统计量是

其中， 是  在第 i 维上的取值， 是所有对象在第 i 维的均值，n 是维度。如果对象  的  统计量很大，那么该对象就可以认为是离群点。

基于矩阵分解的异常点检测方法

https://zr9558.com/2016/06/23/outlierdetectiontwo/

https://zr9558.com/2016/06/13/outlierdetectionone/

异常点检测算法

标签：logs   取值   扩展   cbo   简单的   基于   计算   over   out   

原文地址：http://www.cnblogs.com/ljygoodgoodstudydaydayup/p/7413121.html