Hadoop之——分布式集群安装过程简化版

标签：hadoop   mapreduce   集群   分布式   ssh   

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46352315

1.hadoop的分布式安装过程

    1.1 分布结构   

                    主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode

    1.2 各节点重新产生ssh加密文件

         ssh-keygen -t rsa    一路回车

         进入/root/.ssh目录  cat id_rsa.pub >> authorized.keys

    1.3 编辑各个节点的/etc/hosts，在该文件中含有所有节点的ip与hostname的映射信息

    1.4 两两节点之间的SSH免密码登陆

    1.5 把hadoop0的hadoop目录下的logs和tmp删除

    1.6 把hadoop0中的jdk、hadoop文件夹复制到hadoop1和hadoop2节点

    1.7 把hadoop0的/etc/profile复制到hadoop1和hadoop2节点，在目标节点中执行source  /etc/profile

    1.8 编辑hadoop0的配置文件slaves，改为从节点的hostname，分别是hadoop1和hadoop2

    1.9 格式化，在hadoop0节点执行hadoop namenode -format

    1.10 启动，在hadoop0节点执行start-all.sh

2.动态的增加一个hadoop节点

    2.1 配置新节点的环境

    2.2 把新节点的hostname配置到主节点的slaves文件中

    2.3 在新节点，启动进程

    2.4 在主节点执行脚本 hadoop dfsadmin -refreshNodes

3.动态的下架一个hadoop节点

    3.1、在hadoop0上修改conf/hdfs-site.xml文件

    3.2、确定要下架的机器

    3.3、强制重新加载配置

    3.4、关闭节点

    3.5、再次编辑excludes文件

Hadoop之——分布式集群安装过程简化版

标签：hadoop   mapreduce   集群   分布式   ssh   

原文地址：http://blog.csdn.net/l1028386804/article/details/46352315