前段时间业务系统有个模块数据没有了，在排查问题的时候发现中间处理环节出错了，错误日志为文件格式不正确，将数据导出后发现这个处理逻辑的输入文件中每一行都多了一列，而且是一个空列（列分隔符是\t）。第一次检查代码后没发现代码里多写了一列，第二次排查Reduce代码时，发现在写文件时value为空的Tex...
分类：
其他好文 时间：
2014-07-16 21:46:49
阅读次数：
200
共同点：1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别：2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你在操作RMDB数据库，如果是全表扫描...
分类：
其他好文 时间：
2014-07-16 21:30:18
阅读次数：
167
记得还没毕业的时候，那时候我还不知道网优是什么，我的目标是做一名改变世界的程序猿，虽然我现在的目标也没有变，但是人毕竟不能两次踏入同一条河流，所以，过去终究只能是过去。 偶然看到了mapreduce,度娘告诉我这是一个用来处理大数据的框架，回想起当时笔试去哪儿网的时候的一篇2M的小说中找出张无忌出....
分类：
其他好文 时间：
2014-07-16 21:00:34
阅读次数：
279
1 概述该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。2 为什么要使用MapReduceMap/Reduce，是一种模式，适合解决并行计算的问题，比如T...
分类：
其他好文 时间：
2014-07-16 20:34:13
阅读次数：
264
4.4 Reduce类4.4.1 Reduce介绍整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupT...
分类：
其他好文 时间：
2014-07-16 20:25:29
阅读次数：
224
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-16 20:22:00
阅读次数：
216
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-14 08:35:18
阅读次数：
311
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这...
分类：
其他好文 时间：
2014-07-12 22:50:33
阅读次数：
185
1 概述
该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce
Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不...
分类：
其他好文 时间：
2014-07-12 21:31:22
阅读次数：
296
4.3 Map类
创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。
4.3.1 Map介绍
...
分类：
其他好文 时间：
2014-07-12 17:23:40
阅读次数：
262
