简化陆喜恒. Hadoop实战（第2版）5.4单表关联的代码时遇到空指向异常，经分析是逻辑问题，在此做个记录。环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.5, Hadoop 1.2.1改好的代码如下，在reduce阶段遇到了NullPointerException。...
分类：
其他好文 时间：
2014-10-07 15:34:23
阅读次数：
175
基于hadoop (map/reduce)的大规模分布式并行计算生产排程系统的设计
map/reduce是大数据处理的技术，它的思路是把大规模数据分成一个个小数据块，每个数据块由一个map任务来处理，处理的中间结果汇总到reduce,最后生成最终的处理结果，这个处理和汇总的过程是可以反复多次的，也就是map-reduce-map-reduce
基于map/redu...
分类：
其他好文 时间：
2014-10-06 13:19:00
阅读次数：
127
Reduce计算分为若干阶段1. copy(或者叫shuffle)阶段和merge阶段并行之前Map产生的结果被存放在本地磁盘上，这时需要从reduce节点将数据从map节点复制过来。放得下进内存，比较大的则写到本地磁盘。同时，有两个线程对已经获得的内存中和磁盘上的数据进行merge操作。具体细节是：通过RPC调用询问task tracker已经完成的map task列表，shuffle（洗牌）是...
分类：
其他好文 时间：
2014-10-04 15:41:56
阅读次数：
240
example4演示了如何指定Reducer的数量，本节演示如何使用HashPartitioner将Mapper的输出按照key进行分组后交给Reducer来处理。合理的分组策略将使得每个Reducer获得的计算负载差距不大，从而整体reduce的性能更加均衡。Reducer的数量由HashPartitioner函数getPartition返回值来确定。public int getPartitio...
分类：
其他好文 时间：
2014-10-03 16:37:14
阅读次数：
220
本篇介绍如何控制reduce的数目。前面观察结果文件，都会发现一般是以part-r-00000 形式出现多个文件，其实这个reducer的数目有关系，reducer数目多，结果文件数目就多。在初始化job的时候，是可以设置reducer的数目的。example4在example的基础上做了改动。修改了pom.xml，使得结束一个参数作为reducer的数目。修改了LogJob.java的代码，作为...
分类：
其他好文 时间：
2014-10-03 15:39:04
阅读次数：
265
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以.....
分类：
其他好文 时间：
2014-10-01 17:33:51
阅读次数：
456
本文讲述在CentOS 6.5中提交作业到hadoop 1.2.1于reduce阶段遇到Error: java heap space错误导致作业重新计算的解决过程。解决办法适用Linux、Mac OS X 和Windows操作系统。环境：Mac OS X 10.9.5, IntelliJ IDEA ...
分类：
编程语言 时间：
2014-10-01 03:37:30
阅读次数：
451
异步计算分布式消息队列先进先出机制的队列，监听在服务器某个端口上的服务，它可以维护并管理很多消息队列，应用程序可以通过网络快速访问它，为某个队列追加消息或者从某个队列领取消息。并行计算Map/Reduce是一种分布式并行计算的开发框架，任何计算任务都可以经历从拆分到..
分类：
其他好文 时间：
2014-10-01 01:29:30
阅读次数：
221
先插入测试数据：for(var i=1; i2;} });group联合$where查询db.test.group({key:{age:true},initial:{num:0},$reduce:function(doc,prev){prev.num++},condition:{$where:fu....
分类：
数据库 时间：
2014-09-30 13:16:49
阅读次数：
257
最近微博有一个任务需要使用日曝光表做统计，发现这个任务很容易在stage1卡在reduce100%阶段不动，发邮件过来让帮找一下问题或者优化一下，和同事一起分析了一下原因，以下是分析过程：...
分类：
其他好文 时间：
2014-09-29 14:09:21
阅读次数：
315
