Map/Reduce是一个聚合工具。比如SQL和mongodb的group（by），countdistinct等都是聚合命令。
Map/Reduce其实是一个分布式计算的思想的实现的软件框架。就是你遵循这个框架的规范，编写上层代码可以实现你的分布式计算，并能把所有计算结果聚合到一起得到最终一个简单的结果。基于Map/reduce写出来的应用能运行在上千台服务器组成的集群上，并以一种可靠的容错...
分类：
其他好文 时间：
2014-12-11 12:29:12
阅读次数：
271
出处：http://www.csdn.net/article/2011-03-21/294226本文见于MongoDB官方网站，MongoDB与CouchDB很相似，他们都是文档型存储，数据存储格式都是JSON型的，都使用Javascript进行操作，都支持Map/Reduce。但是其实二者有着很多...
分类：
数据库 时间：
2014-12-11 11:59:10
阅读次数：
253
概念
SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件，它可以在map/reduce过程中的input/output
的format时被使用。在map/reduce过程中，map处理文件的临时输出就是使用SequenceFile处理过的。 所以一般的SequenceFile均是在FileSystem中生成，供map调用的原始文件。
...
分类：
其他好文 时间：
2014-12-10 22:48:16
阅读次数：
280
Hive是什么
Hive 提供了一个让大家可以使用sql去查询数据的途径。但是最好不要拿Hive进行实时的查询。因为Hive的实现原理是把sql语句转化为多个Map Reduce任务所以Hive非常慢，官方文档说Hive 适用于高延时性的场景而且很费资源。
举个简单的例子
metastore...
分类：
其他好文 时间：
2014-12-08 19:39:48
阅读次数：
368
以WordCount为例在类WordCount中实现两个内部静态类（Map，Reduce）1、Mappublic static class Map extends MapReduceBase implements Mapper { private final static IntWritabl...
分类：
其他好文 时间：
2014-11-24 11:23:39
阅读次数：
236
Python是一门很简洁，很优雅的语言，其很多内置函数结合起来使用，可以使用很少的代码来实现很多复杂的功能，如果同样的功能要让C/C++/Java来实现的话，可能会很头大，其实Python是将复杂的数据结构隐藏在内置函数中，你只要写出自己的业务逻辑，Python会自动得出你想要的结果。这方面的内置函数主要有,filter,map,reduce,apply,结合匿名函数，列表解析一起使用，功能更加强大....
分类：
移动开发 时间：
2014-11-17 14:07:29
阅读次数：
269
STORM与HADOOP的比较对于一堆时刻在增长的数据，如果要统计，可以采取什么方法呢？等数据增长到一定程度的时候，跑一个统计程序进行统计。适用于实时性要求不高的场景。如将数据导到HDFS，再运行一个MAP REDUCE JOB。如果实时性要求高的，上面的方法就不行了。因此就带来第二种方法。在数据每...
分类：
其他好文 时间：
2014-11-16 21:24:49
阅读次数：
223
private void AccountInfo() { ls.Clear(); DateTime dt = DateTime.Now.Date; IMongoQuery query = Query.GTE(p =>...
分类：
数据库 时间：
2014-11-14 17:34:42
阅读次数：
238
Storm是什么 如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道，根据google mapreduce来实现的hadoop为我们提供了map, reduce原语，使我们的批处理...
分类：
其他好文 时间：
2014-11-12 19:31:07
阅读次数：
260
http://www.nowamagic.net/librarys/veda/detail/1768上一篇大规模分布式数据处理平台Hadoop的介绍中提到了Google的分布式计算模型Map Reduce，这里再单独拿出来了解一下。并行计算简介计算机的早期阶段，程序都是serial（连续的），类似于...
分类：
其他好文 时间：
2014-11-09 11:07:45
阅读次数：
227
