MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写的程...
分类：
其他好文 时间：
2014-10-29 23:47:03
阅读次数：
441
频数表是将数据集按照某个特定列分类(分组)时观察每个类/组中数据出现次数的表；列联表也是频数表，只不过它会分析的是将数据集按两个或两个以上类别变量联合分组时观察数据在每个分组中出现频数的表，所以又称交叉分类表。简介特殊地，如果我们使用样本数据的两个属性构建列联..
分类：
其他好文 时间：
2014-10-29 19:37:24
阅读次数：
312
网格索引——点要素（图元），线、面要素，有冗余四叉树索引——线、面要素，有冗余改进的四叉树索引——线、面要素R树——空间重叠一、网格索引，四叉树索引在 介绍空间索引之前,先谈谈什么叫“索引“。对一个数据集做”索引“,是为了提高对这个数据集检索的效率。书的”目录“就是这本书内容的”索引“,当我们拿 到...
分类：
其他好文 时间：
2014-10-29 18:34:58
阅读次数：
278
Delphi（Tuxedo,BDE,ADO）三合一数据集组件HsTxQuery
一、背景
为什么要做这个三合一数据集组件呢？以前我们公司用delphi开发的系统大多以ADO，BDE方式来连接数据库，这两套组件使用十分方便和灵活，对成本控制也十分友好，从以前十多年间使用情况来看问题都不大，用户也没有三层架构的要求。但在今年投标大公司的项目时，往往会被技术要求阻拦，为什么呢？甲方的标书上写着要三层...
我们期待自己成为一个优秀的软件模型设计者，但是，要怎样做，又从哪里开始呢？ 将下列原则应用到你的软件工程中，你会获得立杆见影的成果。1. 人远比技术重要 你开发软件是为了供别人使用，没有人使用的软件只是没有意义的数据集合而已。 许多在软件方面很有成就的行家在他们事业的初期却表现平平，因为他们那时侯....
分类：
其他好文 时间：
2014-10-29 16:37:14
阅读次数：
236
阅读导读：
1.什么是聚类分析？
2.Mahout中的kmeans算法，默认的分融符是什么？
3.用kmeans算法得到的结果有什么特点？
1.
聚类算法kmeans
聚类分析是数据挖掘及机器学习领域内的重点问题之一，在数据挖掘、模式识别、决策支持、机器学习及图像分割等领域有广泛的应用，是最重要的数据分析方法之一。聚类是在给定的数据集合中寻找同类的数据子集合，每一...
分类：
其他好文 时间：
2014-10-29 00:25:22
阅读次数：
359
一、基本概念1、宽泛概念：数据仓库是一种数据库，它与的那位的操作数据库分别维护。数据仓库系统允许将各种应用系统集成在一起，为同一的历史数据分析提供坚实的平台，对信息处理提供支持。 另一种说法： 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程。 1）面向主题的：数据仓...
分类：
其他好文 时间：
2014-10-28 21:28:21
阅读次数：
407
给定训练集，想把这些样本分成不同的子集，即聚类，，但是这是个无标签数据集，也就是说我们再聚类的时候不能利用标签信息，所以这是一个无监督学习问题。k-means聚类算法的流程如下：1. 随机初始化聚类中心2. a. 对与每一个聚类中心，计算所有样本到该聚类中心的距离，然后选出距离该聚类中心最近的几个样...
分类：
编程语言 时间：
2014-10-28 20:02:27
阅读次数：
251
逆透视转换将来自单个记录中多个列的值扩展为单个列中具有同样值的多个记录，使得非规范的数据集成为较规范的版本。例如，每个客户在列出客户名的数据集中各占一行，在该行的各列中显示购买的产品和数量。逆透视转换将数据集规范之后，客户购买的每种产品在该数据集中各占一行。 我们下一步是进行逆透视。与透视配置...
分类：
其他好文 时间：
2014-10-28 17:31:25
阅读次数：
160
这个和T-SQL中的PIVOT和UNPIVOT的作用是一样的。数据透视转换可以将数据规范或使它在报表中更具可读性。通过透视列值的输入数据，透视转换将规范的数据集转变成规范程度稍低、但更为简洁的版本。例如，在列有客户名称、产品和购买数量的规范的 Orders 数据集中，任何购买多种产品的客户都有多行，...
分类：
其他好文 时间：
2014-10-28 15:20:19
阅读次数：
270
