数据预处理的目标是改善数据挖掘分析工作，减少时间，降低成本和提高质量。数据预处理是选择分析所需要的数据对象和属性以及创建/改变属性的过程。方法主要包括：聚集，抽样，维归约，特征子集选择，特征创建，离散化和二元化，变量变换。聚集（Aggregation）：将两个或多个对象合并成单个对象。比如通过合并每...
分类：
其他好文 时间：
2015-07-18 13:55:14
阅读次数：
131
使用excel，演示分析关键因素功能。在数据挖掘，机器学习中，常常需要对数据间的影响因素进行分析。...
分类：
其他好文 时间：
2015-06-12 15:02:39
阅读次数：
196
【适用场景不同】 Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析 Spark:是一个基于内存计算的开源的集群计算系统，那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内...
分类：
其他好文 时间：
2015-04-12 22:21:15
阅读次数：
541
近年来，南京地税通过探索大数据应用下的服务新模式，积极拓展服务新领域，建立起以客户为中心的精准服务体系。据了解，南京地税的精准服务体系主要依托其强大的数据仓库平台，通过充分应用大数据挖掘、分析等现代化的信息技术，将数据以不落地的方式直接推送办税前台、官方微信、12366系统等服务渠道，实现精准服务。...
分类：
其他好文 时间：
2015-02-26 16:21:55
阅读次数：
146
数字抽取是非常用用的，常用于数据挖掘/分析，nlp智能处理。比如你要做一个机器人，这个机器人能对数字进行计算。当你问它【请问一千二百0八美分加5毛等于多少钱？】，它要告诉你是XXX美元或者XXX人民币。那么问题来了，它要告诉你结果，首先要知道问的是1208和5这两个数吧，然后需要知道单位和单位换算吧...
分类：
其他好文 时间：
2014-11-13 16:31:37
阅读次数：
362
一直想写点关于数学方面的blog，这对于数据挖掘分析，NLP处理等都有着比较重要的作用，之前在CSDN上想写点HMM方面的文章，一直没写成，最近几天终于抽点时间完成了HMM的文章，加以整理，遂有这个系列文章 首先是对HMM模型的介绍。 传统的马尔可夫模型（Markov Model）主要描述了...
分类：
其他好文 时间：
2014-07-16 21:43:13
阅读次数：
230
1、 统计学与数据挖掘的区别： 统计学主要利用概率论建立数学模型，是研究随机现象的常用数学工具之一。 数据挖掘分析大量数据，发现其中的内在联系和知识，并以模型或规则表达这些知识。 虽然两者采用的某些分析方法（如回归分析）是相同的，但是数据挖掘和统计学是有本质区别的： 一个主要差别在于处理对象（数据集...
分类：
其他好文 时间：
2014-07-06 21:40:15
阅读次数：
217
概述这个时代被称之为大数据时代，各行各业生产的数据量呈现爆发性增长，并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此，我们可以很容易的感觉到，在这样一个大数据的时代，我们很多做事情的方法正在发生了改变。例如，基于大数据分析可以做疾病预测控制；基于..
分类：
其他好文 时间：
2014-05-25 08:25:49
阅读次数：
620
