虚拟机hadoop伪分布式搭建

标签：配置   修改   java   map   ipa   生成   second   res   验证   

虚拟机搭建自定义类型 主机名为hadoop可以省略 很多步骤

1.安装虚拟机

　　配置和网络 

　　　　(1)IPADDR

　　　　(2)NETMASK

　　　　(3)GATEWAY

　　　　(4)DNS1

　　远程连接 Xshell

　　关闭防火墙

　　　　（1）service iptables stop

　　　　（2）chkconfig iptables off

2.安装jdk，配置环境变量

　　上传jdk压缩包 解压 jdk放到/usr/local路径下

　　　　（1）tar -zxvf  解压

　　　　（2）ln -s xxxx.jdk jdk 建立软连接

　　配置环境变量  进入到vi /etc/profile下

　　　　export JAVA_HOME=/usr/local/jdk
　　　　export PATH=.:$JAVA_HOME/bin:$PATH

　　刷新

　　　　source /etc/profile

　　查看是否成功

　　　　java -version

3.修改host是文件，添加映射

　　vi /etc/hosts 添加

　　自己的IP  主机名 

　　　例如：192.168.48.151 node51

4.配置免密登录

　　生成秘钥 ssh-keygen -t rsa 4个回车

　　拷贝秘钥 ssh-copy-id -i hadoop

5 上传hadoop压缩包到/usr/local/ 并解压 和上面jdk步骤相同

6 配置hadoop的环境变量
　　进入vi /etc/profile路径下
　　　　export JAVA_HOME=/usr/local/jdk
　　　　export HADOOP_HOME=/usr/local/hadoop
　　　　export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

　　刷新

　　　　source /etc/profile

7 修改7大配置文件,并进行替换
　　所在位置 hadoop/etc/hadoop

　　　　（1）core-site.xml

　　　　（2）hadoop-env.sh

　　　　（3）hdfs-site.xml

　　　　（4）mapred-site.xml

　　　　（5）slaves

　　　　（6）yarn-env.sh

　　　　（7）yarn-site.xml

　　　　　　hadoop 改为自己的主机名

　　　　　　主机名如果是hadoop可以不修改
8 格式化namenode
　　hdfs namenode -format
　　出现 has been successfully formatted 格式化成功
9 启动hadoop进程
　　start-all.sh
10 验证搭建是否成功,出现如下进程成功
　　DataNode
　　ResourceManager
　　SecondaryNameNode
　　NodeManager
　　NameNode

虚拟机hadoop伪分布式搭建

标签：配置   修改   java   map   ipa   生成   second   res   验证   

原文地址：https://www.cnblogs.com/YdSuper/p/11824339.html