hadoop 1.0 mapreduce过程主要问题：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracke...
分类：
其他好文 时间：
2014-06-18 20:00:19
阅读次数：
377
期间遇到了无法转value的值为int型，我採用try catch解决str2 2str1 1str3 3str1 4str4 7str2 5str3 9用的\t隔开，得到结果str1 1,4str2 2,5str3 3,9str4 7我这里map，reduce都是单独出来的类，用了自己定义的key...
分类：
其他好文 时间：
2014-06-18 18:35:21
阅读次数：
184
我们知道，一个典型的Map-Reduce过程包 括：Input->Map->Partition->Reduce->Output。Partition负责把Map任务输出的中间结果 按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个很有用的partitioner类KeyFieldBa...
分类：
编程语言 时间：
2014-06-18 17:00:55
阅读次数：
332
MRv1
Storm
JobTracker
Nimbus
TaskTracker
Supervisor
Child
Worker
Job
Topology
Map/Reduce
Spout/Blot
shuffle
Stream grouping...
分类：
其他好文 时间：
2014-06-16 21:24:47
阅读次数：
228
一年前，准备使用mongDb自带的map,reduce功能模拟hadoop，换个思路做一个简易的大数据分拆再结合存储的办法；这个功能可以用于数据日志或者游戏数据之类，进行周期性归纳和按照自己需求重组数据;以下代码实现了将每日数据collecttion:gameLog日期的数据统计出不同的collec...
分类：
数据库 时间：
2014-06-14 22:38:35
阅读次数：
432
Map-reduce是一种优雅的数据处理方式，本文通过三个例子介绍如何用python在linux的管道进行map-reduce编程，本文写的所有map-reduce程序都可以原封不动的放在Hadoop下运行，很容易在大数据集上扩展。
分类：
其他好文 时间：
2014-06-09 19:11:44
阅读次数：
253
期间遇到了无法转value的值为int型，我采用try catch解决
str2 2
str1 1
str3 3
str1 4
str4 7
str2 5
str3 9
用的\t隔开，得到结果
str1 1,4
str2 2,5
str3 3,9
str4 7
我这里map，reduce都是单独出来的类，用了自定义的key
package com.kan...
分类：
其他好文 时间：
2014-06-05 06:52:38
阅读次数：
353
DistributedCache 是一个提供给Map/Reduce框架的工具，用来缓存文件（text, archives, jars and so on）...
分类：
其他好文 时间：
2014-06-03 02:18:37
阅读次数：
332
本文总结PageRank的原理，并提供了一种Python版本的Map-Reduce计算方法
分类：
其他好文 时间：
2014-05-23 06:23:31
阅读次数：
515
Hadoop Studio 是一个 map-reduce
结构的集成开发环境，基于NetBeans。你可以利用它来方便快速的创建基于Hadoop的 map-reduce
应用。该工具提供了一个实时的map-reduce任务的工作流视图，可以显示任务之间独立的输入输出和交互，而且该视图在代码修改时会实...
分类：
其他好文 时间：
2014-05-22 15:06:10
阅读次数：
302
