码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop-2.9.2搭建伪分布式集群

时间:2019-10-22 15:32:14      阅读:125      评论:0      收藏:0      [点我收藏+]

标签:www   bsp   格式化   property   force   hadoop   firewall   inf   html   

准备4台机器分别为node1   node2    node3    node5
1、第一台node1
    1、修改固定IP
 
技术图片

    2、修改主机名
技术图片
 
技术图片
    3、添加与其他机器的映射
技术图片
    
技术图片
2、第二台机器
    通过克隆复制多个,按上面的配置进行配置
3、免密登录
假如node1需要免密登录到node2   node3   node5
在node1的机器上执行
ssh-keygen -t rsa
生成的秘钥文件在root/.ssh目录下
技术图片

 

技术图片
在node1上把生成的公钥给其他node2  node3  node5 
    在其他机器上执行 cat id_rsa.pub >> /root/.ssh/authorized_keys
这样就实现了免密登录
4、解压hadoop-2.9.2
技术图片

 

技术图片
解压后放到这里
然后修改配置文件
技术图片

 

技术图片
    1、vi hadoop-env.sh 
技术图片

 

技术图片
   2、core-site.xml
     19 <configuration>
     20 <property>
     21 <name>fs.defaultFS</name>
     22 <value>hdfs://node1:9000</value>
     23 </property>
     24 <property>
     25 <name>hadoop.tmp.dir</name>
     26 <value>/opt/hadoop-2.9</value>
     27 </property>
     28 </configuration>
技术图片

 

技术图片
    3、vi hdfs-site.xml
技术图片

 

技术图片
    4、vi slaves
技术图片

 

技术图片
    5、vi masters    这个文件不存在,需要创建
技术图片

 

技术图片
    6、初始化hdfs
          hdfs namenode -format
            hdfs  namenode -format -force  强制格式化,同步到datanode
    7、启动
         start-dfs.sh
    8、访问
技术图片

 

技术图片
如果出现这种情况
技术图片

 

技术图片
firewall-cmd --zone=public --add-port=你的端口/tcp --permanent #将端口加入防火墙
systemctl restart firewalld.service #重启防火墙
 
如上图所示,livenodes 节点为0  ,那是为什么呢?
技术图片

 

技术图片
就在于此,node1的namenode节点9000的端口问题
查看监听的端口
netstat -an | grep 9000
技术图片

 

技术图片
原因就是9000端口只监听了127.0.0.0.1   还需要修改监听本地ip
技术图片

 

如图
技术图片

 

技术图片
 技术图片

 

技术图片

hadoop-2.9.2搭建伪分布式集群

标签:www   bsp   格式化   property   force   hadoop   firewall   inf   html   

原文地址:https://www.cnblogs.com/longyao/p/11719510.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!