第一章：Spring Data JPA入门 Spring Data是什么 Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data 包含多个子项目： Commons -....
分类：
编程语言 时间：
2015-02-21 23:25:46
阅读次数：
352
通常，当服务涉及到的数据量大到一定程度以后，我们会考虑拆分数据。在这种分布式架构中，每个结点只拥有总数据量的其中一部分，而最终的输出结果会汇总所有结点的结果。这种Map-reduce思想的架构，是尽量不去查分程序，而只是拆分数据来支持大数据的处理，如下图所示。这种框架对每个worker结点的可靠性要求比较高，如果某一个worker结点挂掉了，那么最后的输出结果将是不全的。
我设计的这个分...
分类：
其他好文 时间：
2015-02-15 18:10:47
阅读次数：
134
前言spark与hadoop的比较我就不多说了，除了对硬件的要求稍高，spark应该是完胜hadoop（Map/Reduce）的。storm与spark都可以用于流计算，但storm对应的场景是毫秒级的统计与计算，而spark（stream）对应的是秒级的。这是主要的差别。一般很少有对实时要求那么高...
分类：
其他好文 时间：
2015-02-13 16:09:25
阅读次数：
132
1.filter(function,sequence)返回一个 sequence(序列)，包括了给定序列中所有调用function(item)后返回值为 true 的元素(如果可能的话，会返回相同的类型)。如果该序列(sequence)是一个string(字符串)或者tuple(元组)，返回值必定是...
分类：
编程语言 时间：
2015-02-12 17:52:29
阅读次数：
193
在高速缓存中的数据处理
coherence提供了理想的基础设施建设数据网格服务和客户端和基于服务器的应用程序使用数据网格。在一个基本的层面上，相干可以在大量的服务器在网格管理一个巨大的数据量，它可以提供接近零延迟访问该数据，它支持跨数据的并行查询中的map-reduce方式;它支持数据库和EIS系统，作为该数据的记录系统的集成。此外，Coherence提供一些服务，这是建立有效的数据网格的理想选...
分类：
数据库 时间：
2015-02-09 14:12:51
阅读次数：
283
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能...
分类：
其他好文 时间：
2015-02-04 23:15:56
阅读次数：
433
一：mapmap(...) map(function, sequence[, sequence, ...]) -> list说明：对sequence中的item依次执行function(item)，执行结果输出为list。例子：>>> map(str, range(5)) ...
分类：
编程语言 时间：
2015-01-30 10:30:19
阅读次数：
236
Transform/Map-Reduce SyntaxSQL Standard Based Authorization Disallows TRANSFORMTRANSFORM ExamplesSchema-less Map-reduce ScriptsTyping the output of TR...
分类：
其他好文 时间：
2015-01-26 11:36:05
阅读次数：
384
一. 配置hadoop插件
1. 安装插件
将hadoop-eclipse-plugin-1.1.2.jar复制到eclipse/plugins目录下，重启eclipse
2. 打开MapReduce视图
window -> open perspective -> other 选择Map/Reduce 图标是一个蓝色的象
3. 添加一个MapReduce环境
在eclipse下端，控制...
MongDB的MapReduce相当于MySQL中的“group by”，所以在MongoDB上使用Map/Reduce进行并行“统计”很容易。 使用MapReduce要实现两个函数Map函数和Reduce函数，Map函数调用emit(key,value),遍历collection中的所有记录，.....
分类：
数据库 时间：
2015-01-24 11:32:46
阅读次数：
170
