码迷,mamicode.com
首页 > 其他好文 > 详细

启动hadoop集群

时间:2018-11-10 12:44:47      阅读:173      评论:0      收藏:0      [点我收藏+]

标签:上启   out   自己的   author   监听   -name   无法访问   value   alt   

1.配置core-site.xml(每个节点上都要配置)
  路径:
    /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml
  作用:
    告诉所有机器master的相关信息
  配置项:
    name: fs.defaultFS
    vale: hdfs://master的地址:端口
  例如:
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://192.168.0.104:9000</value>
    </property>

2.配置hosts文件(每个节点上都要配置)
  路径:
    /etc/hosts
  作用:
    告诉集群中每个节点彼此的名字和ip地址
  配置项:
    ip hostname
  例如:
    192.168.0.104 master
    192.168.0.105 slave1
    192.168.0.107 slave2
  如果不配置在启动node的时候会报类似于:java.net.UnknownHostException: master: master: unknown error
3.在master上启动namenode
  格式化namenode
    命令:hdfs namenode -format
    地址:/tmp/hadoop-root/dfs/name
  启动namenode
    命令:hadoop-daemon.sh start namenode
    日志记录在:/usr/local/hadoop-2.7.3/logs/hadoop-root-namenode-master.out
  验证:jps
4.在所有slave上启动datanode
  命令:hadoop-daemon.sh start datanode
  验证:jps
5.查看集群
  在master上执行netstat -tnpl
  tcp 0 0 192.168.0.104:9000 0.0.0.0:* LISTEN 2853/java
  tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 2853/java
  会发现,hadoop启动后,会监听9000端口和50070端口
  9000端口是namenode和datanode通信的端口
  50070端口是提供的web监控界面端口(需要关闭防火墙,否则无法访问)
  web界面地址:http://192.168.0.104:50070/dfshealth.html#tab-overview
6.关闭集群
  hadoop-daemon.sh stop namenode
  hadoop-daemon.sh stop datanode
7.一键式启动
  配置/usr/local/hadoop-2.7.3/etc/hadoop/slaves
    [root@master hadoop]# cat slaves
    slave1
    slave2
    这里需要关闭slave1和slave2的防火墙,否则不成功
    slave1和slave2也是通过hosts里去找的
    如果没有设置ssh登录,这里需要输入密码,建议设置ssh登录
    start-dfs.sh也需要登录自己,如果做ssh登录也需要给自己的authorized_keys添加自己的id_rsa.pub
  启动脚本:
    master上执行:start-dfs.sh
8.一键式停止
  master上执行:stop-dfs.sh

  

 

启动hadoop集群

标签:上启   out   自己的   author   监听   -name   无法访问   value   alt   

原文地址:https://www.cnblogs.com/413xiaol/p/9938405.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!