部署环境： OS：Fedora 23 JDK：jdk-7u80-linux-x64 Hadoop：hadoop-2.7.2 VMWare：VMware Workstation 12 Pro 安装JDK rpm -ivh jdk-7u80-linux-x64.rpm 配置环境变量 用vim编辑器打开/ ...
分类：
其他好文 时间：
2016-06-17 17:00:43
阅读次数：
188
hdfs的HA机制 NameNode服务器一台是ACTIVE和一台是STANDBY。通过Qjournal(日志管理系统) 使用zkfc（基于zookeeper失败切换控制)如何防止脑裂现象： 当ACTIVE假死的时候，STANDBY的zkfc会发出指令 ssh kill-9 namenode 返回0（成功杀死，返回1则杀死失败）的时候再去通知第二台namenode去切换状态。 若无返回码的时候（超时未响应),则启动proweroff.sh（用户自定义的脚本）给第一台namenode断电，返回0则执行正...
分类：
其他好文 时间：
2016-06-15 16:08:01
阅读次数：
328
总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟 ...
分类：
其他好文 时间：
2016-06-05 18:50:57
阅读次数：
185
2016-06-02 17:33:04,163 ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM2016-06-02 17:33:04,173 ERROR ...
分类：
其他好文 时间：
2016-06-02 19:35:25
阅读次数：
1142
1配置文件简介配置文件是一个灵活系统不可缺少的一部分，虽然配置文件非常重要，但却没有标准。1.1Java配置文件JDK提供了java.util.Properties类，用于处理简单的配置文件。Properties很早就被引入到Java的类库中，并且一直没有什么变化。它继承自Hashtable，表示了一个持久的..
分类：
其他好文 时间：
2016-06-01 10:25:36
阅读次数：
795
本次Hadoop集群安装一共使用四个节点，各节点IP如下： Master 172.22.120.191 Slave1 172.22.120.192 Slave2 172.22.120.193 Slave3 172.22.120.193 系统版本CentOS 6.2L JDK版本：1.7 Hadoop ...
分类：
其他好文 时间：
2016-05-31 13:45:48
阅读次数：
147
1. 下载hadoop使用如下命令：wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz使用如下命令解压：tar -zxvf hadoop-1.2.1.tar.gz2. 配置hadoop将hadoop的bin目录加入到配置文件中，使用如下命令：vim .bashrc添加如下行：expor...
分类：
其他好文 时间：
2016-05-28 16:01:09
阅读次数：
173
Hadoop 2、配置HDFS HA (高可用) 前提条件 先搭建 http://www.cnblogs.com/raphael5200/p/5152004.html 的环境，然后在其基础上进行修改 一、安装Zookeeper 由于环境有限，所以在仅有的4台虚拟机上完成多个操作； a.在4台虚拟中选 ...
分类：
其他好文 时间：
2016-05-26 13:06:36
阅读次数：
243
准备工作 操作系统 CentOS 7 软件环境 关闭防火墙 设置HostName 安装环境 安装JDK 配置java环境变量 验证java 待输出以上内容时说明java已安装配置成功。 安装Hadoop 下载Hadoop 2.6.4 安装Hadoop 2.6.4 配置Hadoop环境变量 验证Had ...
分类：
其他好文 时间：
2016-05-21 10:12:05
阅读次数：
218
本文出自：解析Cloudera Manager内部结构、功能包括配置文件、目录位置等http://www.aboutyun.com/thread-9189-1-1.html(出处: about云开发) 问题导读 问题导读 1.CM的安装目录在什么位置？ 2.Hadoop配置文件在什么位置? 3.Cl ...
分类：
其他好文 时间：
2016-05-16 19:10:08
阅读次数：
265
