log (hadoop)

标签：director   hdf   daemon   tmp   leo   ble   job   oop   reducer   

1application->container来管理。NameNode 的mapreduce log在userlogs。System.out 无法看到Mapper和Reducer的部分。

2log4j

3apache common LogFactory

4MultipleOutput ,program logputout

Hadoop:2.6:

mr-jobhistory-daemon.sh start historyserver　　jps JobHistoryServer

Tracking URL里面的History

yarn-site.xml里面配置aggregation为true:　　看到每个Map和Reduce任务的Log

yarn-site.xml同步到所有的节点，重启集群

HDFS directory where the application logs are moved on application completion. Need to set appropriate permissions. Only applicable if log-aggregation is enabled. The default value is "/logs" or "/tmp/logs"

log (hadoop)

标签：director   hdf   daemon   tmp   leo   ble   job   oop   reducer   

原文地址：http://www.cnblogs.com/yumanman/p/7577116.html