前段时间业务系统有个模块数据没有了，在排查问题的时候发现中间处理环节出错了，错误日志为文件格式不正确，将数据导出后发现这个处理逻辑的输入文件中每一行都多了一列，而且是一个空列（列分隔符是\t）。第一次检查代码后没发现代码里多写了一列，第二次排查Reduce代码时，发现在写文件时value为空的Tex...
分类：
其他好文 时间：
2014-07-16 21:46:49
阅读次数：
200
迭代器模式(Iterator)，提供一种方法顺序访问一个聚合对象中各个元素，而又不暴露该对象的内部表示。当你需要访问一个聚集对象，而且不管这些对象是什么都需要遍历的时候，或者你需要对聚集有多种方式遍历时，你就应该考虑用迭代器模式，为遍历不同的聚集结构提供如开始、下一个、是否结束、当前哪一项等统一接口...
分类：
其他好文 时间：
2014-07-11 22:25:04
阅读次数：
223
1、Shell$ExitCodeException
现象：运行hadoop job时出现如下异常：
14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED
Exception from container-launch: org.apache....
分类：
其他好文 时间：
2014-07-11 00:24:58
阅读次数：
355
总结之前工作中遇到的一个问题。
背景：
运维用scribe从apache服务器推送过来的日志有重复记录，所以这边的ETL处理要去重，还有个需求是要按业务类型多目录输出，方便挂分区，后面的使用。
这两个需求单独处理都没有问题，但要在一个mapreduce里完成，需要一点技巧。
1、map输入数据，经过一系列处理，输出时：
if(ttype.equals("other"))...
分类：
其他好文 时间：
2014-07-11 00:20:13
阅读次数：
226
Map Reduce – the Free Lunch is not over?
分类：
其他好文 时间：
2014-07-10 15:43:59
阅读次数：
147
HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持，MapReduce来实现分布式并行任务处理的程序支持。HDFSHDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个Data...
分类：
其他好文 时间：
2014-07-10 15:36:19
阅读次数：
204
《NoSQL精粹》思维导图读书笔记 各主题笔记 这本书短小精悍，虽不能解答所有NoSQL疑问，但在读书过程中会抛给你不少未曾想过的问题，给人以更深入的思考； 这里对每一个主题分别做了笔记； 详见以下博客文章： NoSQL系列：选择合适的数据库 NoSQL聚合数据模型 NoSQL数据库的分布式模型 N...
分类：
数据库 时间：
2014-07-10 15:22:31
阅读次数：
402
MapReduce任务执行总流程以下图5 是MapReduce作业详细的执行流程图。 图 5 MapReduce 作业执行流程图1.在客户端（Client）编写MapReduce代码，配置作业，启动作业。这里需要注意的一点是：一个MapReduce作业在提交到Hadoop上之后，会进入完全地自动化执...
分类：
其他好文 时间：
2014-07-10 15:02:50
阅读次数：
307
现在 Hadoop 已经发展成为包含多个子项目的集合。虽然其核心内容是 MapReduce 和Hadoop 分布式文件系统（HDFS），但 Hadoop 下的Common 、Avro、 Chukwa、Hive 、HBase等子项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。以...
分类：
其他好文 时间：
2014-07-10 14:57:00
阅读次数：
333
