最近看了比较多的关于大数据处理方面的知识，但是例如Hadoop，Spark，Storm等平台大都是对于数据的存储和管理操作，并不是对于数据进行分析和处理的。所以这里就衍生出了另外一种对于数据的处理，数据挖掘。学习数据挖掘也非常偶然，首先毕竟本人一直在做的是数据方面的工作，数据挖掘相当于是对数据处理后的下一步操作，学习一下数据挖掘的基本知识，了解了解常用的一些数据挖掘算法，对我来说也是一件不错的事。
由于我目前的水准还只是入门水准，就简单的聊聊数据挖掘的基本概念。数据挖掘，英文为:Data Miming,又叫KDD，知识的再次发现，数据挖掘，顾名思义，就是从数据中发掘出对于人们来说，有意义的东西。数据挖掘无处不在，最常见的就是在网上购物的时候，人家会推荐一些可能让你感兴趣的商品。专业上讲，这叫BI（商业智能）。还有很多例如银行利用数据进行欺诈检测。下面是数据挖掘的一般步骤:
1.数据清理（数据预处理）
2.数据集成（数据预处理）
3.数据选择（数据预处理）
4.数据变换（数据预处理）
5.数据挖掘
6.模式评估
7.知识表示
前四步又是作为数据预处理的操作。数据预处理有很多作用，比如取出噪声数据或者是离群点的处理，还有数据的规格化的操作。也许你会问，我们这么庞大的数据存在于什么地方呢，像一般的系统，就是存在于关系数据库中，但是这时候就有问题了，数据挖掘对于数据的需求量往往是非常大的，这就需要很多的数据，所以我们通过一个叫数据仓库的概念，把许多的数据库组织起来，形成一个数据仓库，然后我们对于数据仓库进行OLAP联系分析处理。而数据仓库又是以数据立方体的形式来表现数据的情况的。
挖掘数据的什么
数据挖掘都挖出些什么东西呢，首先一个就是频繁模式的挖掘，这个很好理解吧，这里涉及很多的频繁项集的挖掘算法，比如Apriori算法，里面还有很多关联和相关性的要素。还有一个挖掘中经常提到的东西叫分类,分类算法在数据挖掘中也是非常重要的，比较常被人说起的就是贝叶斯分类算法，基于概率统计的算法，随后在分类算法的基础上又出现了聚类分析，就有了后面的k-means算法，k-中心点算法。对于前面的2大模块的挖掘体系，都有相对应的高级阶段的挖掘分析。对于更加特殊的数据格式和更加复杂的环境又会有不同的挖掘算法和方式的不同。
数据挖掘的展望
未来一定会是一个数据大爆炸的时代，数据挖掘将会是一个非常热门的领域，他是一个多学科交叉的领域，机器学习，神经网络，统计学，对于各行各业都会起到非常重要的作用。
原文地址：http://blog.csdn.net/androidlushangderen/article/details/41749531
