码迷,mamicode.com
首页 >  
搜索关键字:mapreduce partitioner    ( 4100个结果
使用MongoVUE对MongoDB 进行MapReduce操作步骤
Step 1 Open MongoVUE and connect to the server that contains the collection “cities”   Step 2 Right-click on “cities” collection under “Database Explorer”, and select “MapReduce”. This will laun...
分类:数据库   时间:2014-08-06 19:07:42    阅读次数:352
[Spring Data MongoDB]学习笔记--MapReduce
mongodb的MapReduce主要包含两个方法:map和reduce。举个例子,假设现在有下面3条记录{ "_id" : ObjectId("4e5ff893c0277826074ec533"), "x" : [ "a", "b" ] }{ "_id" : ObjectId("4e5ff893c...
分类:数据库   时间:2014-08-06 18:50:27    阅读次数:516
mahout推荐15-在hadoop上运行MapReduce
详情可以参考《Mahout实战》的第六章代码:package mahout.wiki;import java.io.IOException;import java.util.ArrayList;import java.util.Collections;import java.util.Iterato...
分类:其他好文   时间:2014-08-06 18:37:01    阅读次数:315
【转载】8天学通MongoDB——第三天 细说高级操作
今天跟大家分享一下mongodb中比较好玩的知识,主要包括:聚合,游标。一: 聚合 常见的聚合操作跟sql server一样,有:count,distinct,group,mapReduce。 count count是最简单,最容易,也是最常用的聚合工具,它的使用跟我们C#里面的count...
分类:数据库   时间:2014-08-06 11:43:21    阅读次数:257
使用eclipse运行mapreduce程序
今天使用http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html上的方式搭建一个基于Eclipse的mapreduce开发环境,在运行WordCount例子时出现错误,经过检查后才发现,装了hadoop2.0插件的Eclips.....
分类:系统相关   时间:2014-08-05 18:12:39    阅读次数:229
MapReduce源码分析之MapTask分析(二)
MapReduce源码分析之MapTask详解的后半段文章。在分析过程中我们知道了MapTask是如何使用循环缓存区管理数据,知道了数据在缓存不下是如何做spill处理的,spill输出的数据格式,combiner如何处理,如何将多一个文件merge为一个等等。也希望通过阅读这部分源码能学习到部分设计思路,能在未来的设计中提供多一种思路。...
分类:其他好文   时间:2014-08-05 00:47:18    阅读次数:484
Hadoop里的Partitioner
Haooop Partitioner...
分类:其他好文   时间:2014-08-04 17:37:27    阅读次数:241
222
yarn.resourcemanager.hostname hadoop100 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop100 yarn.nodemanage...
分类:其他好文   时间:2014-08-04 13:58:07    阅读次数:202
HBase MapReduce 使用
项目中需要用MapReduce来读取或者写Hbase,这样可以节省大量开发时间。Hbase本身的jar包里就有这样的API , 以下是我从官网上找的一些资料,和大家分享一下。原文地址:http://hbase.apache.org/book/mapreduce.example.html总体说明一下:...
分类:其他好文   时间:2014-08-04 13:39:07    阅读次数:211
Hadoop源码分析—— Job任务的程序入口
这篇文章大致介绍Hadoop Job的程序是如何启动的。通常用Java编写的Hadoop MapReduce程序是通过一个main方法作为程序的整个入口,如下:public static void main(String[] args) throws Exception { int res ...
分类:其他好文   时间:2014-08-03 20:30:45    阅读次数:307
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!