1、主机规划序号主机名IP地址角色1nn-1192.168.9.21NameNode、mr-jobhistory、zookeeper、JournalNode2nn-2192.168.9.22Secondary NameNode、JournalNode3dn-1192.168.9.23DataNode... ...
分类：
Web程序 时间：
2017-03-01 15:54:24
阅读次数：
576
hadoop web控制台页面的端口整理： 50070：hdfs文件管理 8088：ResourceManager 8042：NodeManager 19888：JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server) ...
分类：
Web程序 时间：
2017-01-31 19:21:15
阅读次数：
247
昨天因为datanode出现大规模离线的情况，初步判断是dfs.datanode.max.transfer.threads参数设置过校于是将所有datanode节点的hdfs-site.xml配置文件都作了调整。重启集群后，为了验证，试着运行一个作业，在jobhistory中查看该作业的configuration，令人意外的是，显示的居然还..
分类：
其他好文 时间：
2017-01-07 21:31:15
阅读次数：
190
在map或者reduce函数中使用System.out.println打印的信息沾满查看呢？ 步骤1：启动history server /usr/local/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver 步骤2：使用htt ...
分类：
其他好文 时间：
2016-07-20 11:47:55
阅读次数：
134
最近在折腾kylin，这里记录一下完整的安装流程环境准备CDH5.7.0kylin-cdh5.7.02.安装流程(1)准备好cdh5.7.0的相关关键，主要需要hdfs,hive,hbase，保证yarn中Jobhistory启动(2)解压apache-kylin-1.5.2.1-cdh5.7-bin.tar至/opt，相关命令为:tarzvxfapache-kylin-1.5.2.1-cdh5.7-..
分类：
Web程序 时间：
2016-07-19 11:36:23
阅读次数：
1903
可以使用这两个SP快速查看Job执行的状态，而不用打开Monitory。 1，查看Job 执行结果 msdb中该dbo.sp_help_job的参数如下： 2，查看Job Step msdb中 dbo.sp_help_jobhistory的参数如下： ...
分类：
其他好文 时间：
2016-05-29 14:58:10
阅读次数：
211
（2-6为性能优化）（7-9为函数介绍） 1.在JobHistory里面可以看到job相关的一些信息，用start-all启动Hadoop时便可以进入端口号8088查看查看信息，但是无法进入端口号19888查看history。 只需要启动jobhistory即可，命令：mapred historys
分类：
其他好文 时间：
2016-03-04 20:54:59
阅读次数：
163
前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.这些Application跑完之后,这些信息在jobHistory中就可以看了,可以说hadoop在这方面做得真的非常完整.但是完善归完善.但是jobHistory可以说是一种"事后分析"...
分类：
移动开发 时间：
2016-01-05 09:49:49
阅读次数：
305
远程调试对应用程序开发十分有用，那如何调试Hadoop源码？这里介绍如何用IDE远程调试Hadoop源码。本文以IntelliJ IDEA作为IDE，以调试Jobhistory WEB UI代码为例进行说明。 第一步：在启动Hadoop历史服务器进程之前在终端加入以下环境配置：[wyp@date5....
分类：
其他好文 时间：
2015-12-13 18:51:18
阅读次数：
142
启动hadoop2.x historyserver（不启动historyserver的话，pig任务结束后，会报连接不上10020端口） ./mr-jobhistory-daemon.sh start historyserver [root@ylchou ?sbin]# ./mr-jobhistory-daemon.sh start hist...
分类：
其他好文 时间：
2015-11-06 01:43:13
阅读次数：
199
