1、Shell$ExitCodeException
现象:运行hadoop job时出现如下异常:
14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED
Exception from container-launch: org.apache....
分类:
其他好文 时间:
2014-07-11 00:24:58
阅读次数:
355
总结之前工作中遇到的一个问题。
背景:
运维用scribe从apache服务器推送过来的日志有重复记录,所以这边的ETL处理要去重,还有个需求是要按业务类型多目录输出,方便挂分区,后面的使用。
这两个需求单独处理都没有问题,但要在一个mapreduce里完成,需要一点技巧。
1、map输入数据,经过一系列处理,输出时:
if(ttype.equals("other"))...
分类:
其他好文 时间:
2014-07-11 00:20:13
阅读次数:
226
上篇文章中我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topci,发送和接收消息。下面我们来搭建kafka的开发环境。
大家开发环境需要引入kafka的jar包,一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中,这种比较简单了。不过我们使用另一种更加流行的方式,使用maven管理jar包依赖。
创建好maven项目后,在...
分类:
其他好文 时间:
2014-07-11 00:12:15
阅读次数:
313
基于J2EE平台下SSH2+JBPM4.4+ExtJs4.1 框架整合&项目实战(HR项目开发、SSH2作为框架)
对这个课程有兴趣的朋友可以加我的QQ2059055336和我联系
课程讲师:ANDY
课程分类:Java
适合人群:中级
课时数量:46课时
用到技术:Extjs、SSH2、Mvc
涉及项目:HR项目用户管理、Extjs...
分类:
Web程序 时间:
2014-07-10 22:46:19
阅读次数:
345
好吧现在我确定我需要一个搜索引擎了,那么为什么要选Solr呢?公司里各个角色决策的角度不同,元芳,你怎么看?...
分类:
其他好文 时间:
2014-07-10 20:32:14
阅读次数:
244
说了那么多,总结一下Solr的主要功能亮点吧...
分类:
其他好文 时间:
2014-07-10 19:37:15
阅读次数:
214
《基于plusgantt的项目管理系统实战开发(Spring3+JDBC+RMI的架构、自定义工作流)》课程讲师:Adam课程分类:Java适合人群:中级课时数量:37课时用到技术:Spring3+JDBC+RMI的架构、jquery、工作流涉及项目:项目管理系统咨询QQ:1337192913(小公子)本课程是某航空研究所的真..
分类:
其他好文 时间:
2014-07-10 18:12:59
阅读次数:
212
前段时间开发推荐引擎的时候看了一本好书,搜索引擎相关的概念讲的很清楚很透彻,本着开源共享的精神翻译出来以飨同好...
分类:
其他好文 时间:
2014-07-10 17:48:13
阅读次数:
230
那么到底Solr是个什么样的东西呢?我们通过一个类似于美国搜房网这样一个简单的项目模型,来看看solr的关键特性...
分类:
其他好文 时间:
2014-07-10 17:47:35
阅读次数:
176
本章速揽,以及如何帮助读者判断自己的项目是否需要一个搜索引擎(其实背后的概念就是到底什么样的数据和使用场景适合使用搜素引擎技术捏?又有哪些事情是不适合搜索引擎来做的捏?)...
分类:
其他好文 时间:
2014-07-10 17:42:33
阅读次数:
251