标签：数据分析
各种数据分析技术的对象是数据源中的数据数据清理用于消除噪声、数据不一致及数据不完整
噪声可以通过平滑、识别孤立点等方法进行消除
分箱技术：将数据排序，根据等深或等宽分布规则将数据分布到不同箱中，将同一箱中的数据用用该箱中数据的平均值或中值、边界值替换（平均值平滑、中值平滑、边界平滑）
设某属性的值为18，12，3，9，7，6，15，21，16，采用分箱技术平滑数据消除噪声。分布规则为等深、深度为3，平滑规则为平均值平滑
首先，将属性的值排序为3, 6, 7, 9, 12, 15, 16, 18, 21
数据不完整可以使用下列方法消除：
1）使用一个全局常量填充
2）使用属性平均值填充
3）使用相同类的属性平均值填充
4）使用最可能的值填充 需要采用预测算法，预测给定样本的最可能的值并填充
数据不一致可以通过元数据消除（描述数据的数据）
数据集成
数据集成是将多个数据源中的数据结合起来存放在一个一致的数据存储（如数据仓库）中
这些数据源可能包括多个数据库、数据立方体或一般文件
在数据集成时，需要消除冗余——能够由另外的属性“导出”、命名的不一致的属性
冗余可以通过相关分析进行检测
属性A、B之间的相关性计算：
rA,B>0，A与B正相关，A的值随着B的值的增加而增加
rA,B<0，A与B负相关，A的值随着B的值的增加而减少
rA,B=0，A与B独立。因此，|rA,B|很大时，A与B可以去除一个
数据变换
将属性数据按比例缩放，使之落入一个小的特定区间，如－1.0到1.0或0.0到1.0
最小-最大规格化：
[minA，maxA]为数值属性A规格化前的取值区间
[new minA，new maxA] 为A规格化后的取值区间，最小-最大规格化根据下式将A的值v规格化为值v’
采用最小-最大规格化方法将[－100，100]中的66规格化到区间[0，1] 
标签：数据分析
原文地址：http://blog.51cto.com/yixianwei/2096834
