码迷,mamicode.com
首页 > 其他好文 > 详细

HDFS集群安装部署

时间:2018-12-28 21:12:58      阅读:208      评论:0      收藏:0      [点我收藏+]

标签:slaves   reboot   sla   home   style   机器   数据存储   127.0.0.1   host   

1-> 集群的准备工作

 1)关闭防火墙(进行远程连接)  

systemctl stop firewalld  systemctl -disable firewalld

 2)永久修改设置主机名  vi /etc/hostname  

注意:需要重启生效->reboot    

3)配置映射文件  

vi /etc/hosts    

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

 #::1         localhost localhost.localdomain localhost6 localhost6.localdomain6  192.168.50.183 hd09-01  192.168.50.184 hd09-02  192.168.50.185 hd09-03   2-> 安装jdk

 1)上传tar包  alt+p    2)解压tar包  tar -zxvf jdk    3)配置环境变量  vi /etc/profile    export JAVA_HOME=/root/hd/jdk1.8.0_141  export PATH=$PATH:$JAVA_HOME/bin    注意:加载环境变量 source /etc/profile    4)发送到其它机器  scp -r hd/jdk1.8.0_141/ hd09-03:hd/jdk1.8.0_141  scp -r /etc/profile hd09-02:/etc    注意:加载环境变量 source /etc/profile    5)配置ssh免密登录  -》ssh-keygen 生成密钥对  -》 ssh-copy-id 自己   ssh-copy-id 其它   ssh-copy-id 其它    3-> 安装HDFS集群

 1) 修改hadoop-env.sh  export JAVA_HOME=/root/apps/jdk1.8.0_60

 2) 修改core-site.xml

 <configuration>   //配置hdfs   <property>   <name>fs.defaultFS</name>   <value>hdfs://hd-01:9000</value>   </property>  </configuration>

 3) 修改hdfs-site.xml

 <configuration>   //配置元数据存储位置   <property>   <name>dfs.namenode.name.dir</name>   <value>/root/hd/dfs/name</value>   </property>   //配置数据存储位置   <property>   <name>dfs.datanode.data.dir</name>   <value>/root/hd/dfs/data</value>   </property>  </configuration>    4)格式化namenode  hadoop namenode -format    5)分发hadoop到其它机器  scp -r ~/hd/hadoop-2.8.4/ hd09-02:/root/hd/  scp -r ~/hd/hadoop-2.8.4/ hd09-03:/root/hd/    6)配置hadoop环境变量  export JAVA_HOME=/root/hd/jdk1.8.0_141  export HADOOP_HOME=/root/hd/hadoop-2.8.4  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin    6)分发hadoop环境变量  scp -r /etc/profile hd09-02:/etc    注意:加载环境变量 source /etc/profile    7)启动namenode  hadoop-daemon.sh start namenode    8)启动datanode  hadoop-daemon.sh start datanode    9)访问namenode提供的web端口:50070     4-> 自动批量的启动脚本

  1.  1)修改配置文件slaves(01机器也要在hadoop01)  hd09-02  hd09-03    2)执行启动命令  start-dfs.sh  start-dfs.sh

HDFS集群安装部署

标签:slaves   reboot   sla   home   style   机器   数据存储   127.0.0.1   host   

原文地址:https://www.cnblogs.com/cmbk/p/10125872.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!