一、引子今天在跑一段很复杂而且涉及数据量10年的N个表join的长SQL时，发生了OOM的异常。由于一个map通常配置只有64MB或者128MB，则在Map阶段出现OOM的情况很少见。所以一般发生在reduce阶段。但是今天这个异常详细的看后，会发现既不是map阶段，也不是reduce阶段，发现不是执行过程，而是driver提交job阶段就OOM了。Hive中XMLEncoder序列化Mapred...
分类：
其他好文 时间：
2014-11-21 20:33:32
阅读次数：
234
1.关于run on hadoop的问题：
在未用hadoop eclipse插件前，我以为通过hadoop eclipse 插件不但可以管理hdfs，还可以自动打包程序，并帮我自动设置Configuration对象的mapred.jar属性值。但用了之后，才发现，这个插件只能管理hdfs，至于打包程序等操作，还得自己手动进行。我用的hadoop 版本为1.2.1，hadoop eclipse插...
分类：
其他好文 时间：
2014-11-20 12:04:27
阅读次数：
204
hadoop启动时报如下错误：错误分别在namenode和jobTracker日志文件都有org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotdelete/usr/hadoop/tmp/mapred/system.Namenodeisinsafemode.Theratioofreportedblocks1.0000hasreachedthethreshold0.9990.Safemodewill..
分类：
其他好文 时间：
2014-11-16 18:54:48
阅读次数：
242
1、将mapred-site.xml文件拷贝一份到项目中 <configuration>
????<property>
????????<name>mapreduce.framework.name</name>
????????????<value>yarn</value>
????</property>
??...
分类：
系统相关 时间：
2014-10-20 23:31:12
阅读次数：
402
一、Crontab -e 加入输出Log*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1二、查看Log发现，找不到Hadoop三、脚本中指定Hadoop完整路径#!/bin/sh#upload list t...
分类：
Web程序 时间：
2014-10-13 22:51:47
阅读次数：
659
hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。mapred-site.xml添加如下配置 mapreduce.jobhistory.address hadoop000:10020 Ma...
分类：
其他好文 时间：
2014-10-11 20:26:06
阅读次数：
251
启动hadoop1.start-all.sh 可以看到这个脚本包含两个部分,start-dfs.sh和start-mapred.sh2.start-dfs.sh包含 "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DI...
分类：
其他好文 时间：
2014-10-08 18:01:15
阅读次数：
212
修改陆喜恒. Hadoop实战（第2版）5.3排序的代码时遇到IO异常。环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.5, Hadoop 1.2.1异常具体信息如下 1 14/10/06 03:08:51 INFO mapred.JobClient: Task Id ...
分类：
其他好文 时间：
2014-10-07 14:44:53
阅读次数：
168
namevalueDescriptionhadoop.job.history.locationjob历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。hadoop.job.history.user.location用户历史文件存放位置io.sort.fac...
分类：
其他好文 时间：
2014-09-24 14:06:46
阅读次数：
239
Hadoop端口说明：默认端口 设置位置 描述信息8020 namenode RPC交互端口8021 JT RPC交互端口50030 mapred.job.tracker.http.address JobTracker administrative web GUI JOBTRACKER的HTTP服务...
分类：
其他好文 时间：
2014-09-19 15:26:05
阅读次数：
168
