码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop完全分布式的搭建的理解

时间:2017-05-18 20:03:38      阅读:132      评论:0      收藏:0      [点我收藏+]

标签:hadoop完全分布式的搭建的理解

hadoop完全分布式的搭建思路?

  1. jdk必须安装,所有机器都是一样的。环境变量是PATH,但是在配置PATH的时候,一定要加上.;这是系统原来的环境变量,如果不加这个,可能再次开不出机器。

  2. Hadoop安装,可以放在yarn,也可以不放在yarn,环境变量HADOOP_HOME,JAVA_HOME(这个主要是切换jdk来用的,j2ee就是这样的)

  3. 所有机器的host里面必须有对应的主机,各个子节点的IP地址,以及域名对应关系,则必须修改各个机器的hostname的域名,重启立马生效。

  4. 配置ssh协议,首先各个节点,先配置自己的,然后远程登录到自己,不需要登录密码

  5. 各个节点必须互通,则可以将各个节点的公钥都发给主节点,这就意味着所有所有节点都可以访问主机不需要秘钥,然后主机将所有发过来的秘钥加到自己的authorized_keys中,这就意味着所有节点的公钥都在此(包括主节点的)然后将其发送给各个节点,这样大家都拥有很多公钥,则都可以互访,为什么这么设计,为什么直接各个机器配好ssh,都互相复制下,不也一样,而且公钥只有一份,因为公钥里面携带了IP地址和用户名,就必须不一样,因为不同的IP地址。

  6. 配置好了之后,如何检测?

    可以检测它的namenode和mapreduce管理界面,一个是50070,一个是50030

本文出自 “简答生活” 博客,谢绝转载!

hadoop完全分布式的搭建的理解

标签:hadoop完全分布式的搭建的理解

原文地址:http://1464490021.blog.51cto.com/4467028/1927071

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!