CentOS系统下Hadoop 2.4.1集群安装配置（简易版）
分类：
其他好文 时间：
2014-11-05 21:19:08
阅读次数：
184
最近使用的一个集群hp1，因为维护集群的人不给力，节点总是过一段时间就掉一两个。今天发现重启hadoop时，HDFS已经进入保护模式了。
决定把slaves节点中的无法访问的节点全部过滤掉，所以写了一个小脚本，在这里记录一下，以后方便直接拿来使用。...
分类：
系统相关 时间：
2014-11-04 11:01:55
阅读次数：
163
基本思路，通过newlisp定时下载jobtracker页面，用正则表达式解析html中的table元素，然后获得最新的mapreduce的状态。每次获得装提数据后，存入mysql数据库，然后用tableau将mapreduce集群状态用报表呈现。这是jobtracker站点的数据这是Tableau绘制的报表这样就可以用数据可视化的方式展示Hadoop集群计算的压力状态。下面是newlisp代码，...
分类：
其他好文 时间：
2014-11-01 21:55:03
阅读次数：
381
目的： 使用命令行接口运行Mini集群，用户可以使用一个简单的命令启动或者停止一个单节点的Hadoop集群，不需要设置任何环境变量和管理配置文件。这个CLI Mini集群将会启动Yarn/MapReduce和HDFS。 这个案例适合想要...
分类：
其他好文 时间：
2014-10-31 13:58:20
阅读次数：
257
Hadoop大数据零基础高端实战培训系列配文本挖掘项目课程分类：大数据适合人群：初级课时数量：230课时+90课程更新程度：完成用到技术：部署Hadoop集群涉及项目：京东商城、百度、阿里巴巴咨询qq：1840215592大数据Hadoop实战视频教程就从最基础的Java语法、数据库、Linux讲起到..
分类：
其他好文 时间：
2014-10-29 19:49:34
阅读次数：
221
Hadoop大数据零基础高端实战培训系列配文本挖掘项目课程分类：大数据适合人群：初级课时数量：230课时+90课程更新程度：完成用到技术：部署Hadoop集群涉及项目：京东商城、百度、阿里巴巴咨询qq：1840215592大数据Hadoop实战视频教程就从最基础的Java语法、数据库、Linux讲起...
分类：
其他好文 时间：
2014-10-29 12:13:08
阅读次数：
186
Hadoop集群启动之后,用JPS命令查看进程发现datanode节点上,只有TaskTracker进程.如下图所示master的进程:两个slave的节点进程发现salve节点上竟然没有datanode进程.查看了日志,发现有这样一句话:这句话的意思是:datanode上的data目录权限是765...
分类：
其他好文 时间：
2014-10-28 02:02:29
阅读次数：
634
今天重启了下Hadoop集群，使用Eclipse调试hdfs api的时候报错：[WARNING] java.lang.NullPointerException at org.conan.kafka.HdfsUtil.batchWrite(HdfsUtil.java:50) at org...
分类：
其他好文 时间：
2014-10-23 12:20:22
阅读次数：
254
1、NodeManager概述
NodeManager（NM）是YARN中每个节点上的代理，它管理Hadoop集群中单个计算节点，包括与ResourceManger保持通信，监督Container的生命周期管理，监控每个Container的资源使用（内存、CPU等）情况，追踪节点健康状况，管理日志和不同应用程序用到的附属服务。
2、NodeManager分析
2.1、代码分析
接下来将...
分类：
其他好文 时间：
2014-10-23 00:01:39
阅读次数：
291
YARN资源调度器 随着Hadoop的普及，单个Hadoop集群的用户量越来越大，不同用户提交的应用程序往往具有不同的服务质量要求，典型的应用有以下几种： 批处理作业。这种作业往往耗时较长，对完成时间一般没有严格要求...
分类：
其他好文 时间：
2014-10-19 10:20:32
阅读次数：
600
