Step 1
Open MongoVUE and connect to the server that contains the collection “cities”
Step 2
Right-click on “cities” collection under “Database Explorer”, and select “MapReduce”. This will laun...
分类:
数据库 时间:
2014-08-06 19:07:42
阅读次数:
352
mongodb的MapReduce主要包含两个方法:map和reduce。举个例子,假设现在有下面3条记录{ "_id" : ObjectId("4e5ff893c0277826074ec533"), "x" : [ "a", "b" ] }{ "_id" : ObjectId("4e5ff893c...
分类:
数据库 时间:
2014-08-06 18:50:27
阅读次数:
516
详情可以参考《Mahout实战》的第六章代码:package mahout.wiki;import java.io.IOException;import java.util.ArrayList;import java.util.Collections;import java.util.Iterato...
分类:
其他好文 时间:
2014-08-06 18:37:01
阅读次数:
315
今天跟大家分享一下mongodb中比较好玩的知识,主要包括:聚合,游标。一: 聚合 常见的聚合操作跟sql server一样,有:count,distinct,group,mapReduce。 count count是最简单,最容易,也是最常用的聚合工具,它的使用跟我们C#里面的count...
分类:
数据库 时间:
2014-08-06 11:43:21
阅读次数:
257
今天使用http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html上的方式搭建一个基于Eclipse的mapreduce开发环境,在运行WordCount例子时出现错误,经过检查后才发现,装了hadoop2.0插件的Eclips.....
分类:
系统相关 时间:
2014-08-05 18:12:39
阅读次数:
229
MapReduce源码分析之MapTask详解的后半段文章。在分析过程中我们知道了MapTask是如何使用循环缓存区管理数据,知道了数据在缓存不下是如何做spill处理的,spill输出的数据格式,combiner如何处理,如何将多一个文件merge为一个等等。也希望通过阅读这部分源码能学习到部分设计思路,能在未来的设计中提供多一种思路。...
分类:
其他好文 时间:
2014-08-05 00:47:18
阅读次数:
484
yarn.resourcemanager.hostname hadoop100 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop100 yarn.nodemanage...
分类:
其他好文 时间:
2014-08-04 13:58:07
阅读次数:
202
项目中需要用MapReduce来读取或者写Hbase,这样可以节省大量开发时间。Hbase本身的jar包里就有这样的API , 以下是我从官网上找的一些资料,和大家分享一下。原文地址:http://hbase.apache.org/book/mapreduce.example.html总体说明一下:...
分类:
其他好文 时间:
2014-08-04 13:39:07
阅读次数:
211
这篇文章大致介绍Hadoop Job的程序是如何启动的。通常用Java编写的Hadoop MapReduce程序是通过一个main方法作为程序的整个入口,如下:public static void main(String[] args) throws Exception { int res ...
分类:
其他好文 时间:
2014-08-03 20:30:45
阅读次数:
307