码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop1.2.1 完全分布式集群搭建实操笔记

时间:2015-08-08 16:37:44      阅读:319      评论:0      收藏:0      [点我收藏+]

标签:hadoop   分布式系统   集群   

前期准备工作:
1.修改Linux主机名:/etc/hostname
                        ubuntu系统:vi /etc/hostname
                        将ubuntu默认的主机名ubuntu改为suh01

2.修改IP:/etc/network/interfaces
                        修改配置文件/etc/network/interfaces
                        vi /etc/network/interfaces
                        #将原来的内容注释掉:
                        #auto lo
                        #iface lo inet loopback
                        #然后添加以下内容:
                        auto eth0                  #设置自动启动eth0接口
                        iface eth0 inet static     #配置静态IP
                        address 192.168.1.101      #IP地址
                        netmask 255.255.255.0      #子网掩码
                        gateway 192.168.1.1        #默认网关

3.修改主机名和IP的映射关系:/etc/hosts
                        vi /etc/hosts                
                        #127.0.0.1      localhost                
                        192.168.1.201        suh01
                        192.168.1.202        suh02
                        192.168.1.203        suh03

4.查看防火墙状态、关闭防火墙:ufw status 、ufw disable

5.安装JDK,配置环境变量等。
        5.1上传:使用ftp工具上传jdk安装文件
            #创建文件夹,将安装文件上传至此目录下
                 mkdir /usr/java
        
        5.2解压jdk
                tar -zxvf jdk-7u76-linux-x64.tar.gz
                                
        5.3将java添加到环境变量中
                vi /etc/profile
                #在文件最后添加
                export JAVA_HOME=/usr/java/jdk1.7.0_76
                export PATH=$PATH:$JAVA_HOME/bin
                
                #刷新配置
                source /etc/profile

6.ssh免登陆:
    6.1在suh01上执行:
       ssh-keygen -t rsa (直接回车)
           执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
           
    6.2然后将公钥拷贝到要免登陆的机器上        
                ssh-copy-id suh01  (最好也给自己设置免登陆)
                ssh-copy-id suh02 
                ssh-copy-id suh03


集群规划:
        主机名                IP                       安装的软件                                        运行的进程
        suh01        192.168.1.201           jdk、hadoop                        NameNode、JobTracker、SecondaryNameNode
        suh02        192.168.1.202           jdk、hadoop                                        DataNode、TaskTracker
        suh03        192.168.1.203           jdk、hadoop                                        DataNode、TaskTracker
        

IP与主机名映射关系
-----------------------        
192.168.1.201        suh01
192.168.1.202        suh02
192.168.1.203        suh03
-----------------------        
        

安装步骤:        
        1.安装配置hadoop集群(总共修改了六个配置文件:hadoo-env.sh、core-site.xml、hdfs-site.xml、slaves、yarn-site.xml、mapred-site.xml )
                1.1上传并解压hadoop安装包解压
                        tar -zxvf hadoop-1.2.1.tar.gz
                        
                1.2配置相关文件(hadoop1.2.1所有的配置文件都在hadoop1.2.1/conf目录下)                                                
                        cd /home/suh/hadoop-1.2.1/conf
                        
                        1.2.1修改hadoop-env.sh
                                export JAVA_HOME=/usr/java/jdk1.7.0_76
                                
                        1.2.2修改core-site.xml
                                <configuration>                                        
                                        <property>
                                                <name>fs.default.name</name>
                                                <value>hdfs://suh01:9000</value>
                                        </property>
                                                                                
                                        <property>
                                                <name>hadoop.tmp.dir</name>
                                                <value>/home/suh/hadoop-1.2.1/tmp</value>
                                        </property>
                                </configuration>
                                
                        1.2.3修改hdfs-site.xml
                                <configuration>        
                                        <property>
                                                <name>dfs.replication</name>
                                                <value>2</value>
                                        </property>                                        
                                </configuration>
                                
                        1.2.4 修改mapred-site.xml
                                <configuration>
                                        <property>
                                                <name>mapred.job.tracker</name>
                                                <value>suh01:9001</value>
                                        </property>
                                </configuration>

                        1.2.5修改masters 文件,添加如下内容:
                                        suh01                        
                        
                        1.2.6修改slaves 文件,添加如下内容:
                                        suh02
                                        suh03        
                
                
                1.3将配置好的hadoop拷贝到其他节点(为了拷贝更快速,建议把/home/hadoop-2.2.0/share 下的doc目录删掉:rm -rf doc)
                        scp -r /home/suh/hadoop-1.2.1/ suh@suh02:/home/suh/
                        scp -r /home/suh/hadoop-1.2.1/ suh@suh03:/home/suh/                        
                                                

======开始启动集群=======                        
                2.1格式化HDFS
                        在hdfs的NameNode机器(suh01)上执行命令:
                        ./bin/hadoop namenode -format
                                                
                2.2启动HDFS(在suh01上执行,这里最好先配置好免登录,不然会提示输入密码,免登陆配置在下文有配置步骤)
                        ./bin/start-all.sh
                        
                        执行成功后进行相关检验:
                         (1)、suh01上多了NameNode、JobTracker、SecondaryNameNode进程;
                         (2)、接着分别进入到suh02、suh03机器,运行jps命令查看,发现它也启动好了DataNode、TaskTracker进程;
                
                         
======hadoop集群启动成功后,进行测试======                 
                3.1到此,hadoop1.2.1配置完毕,可以进行浏览器访问:
                        http://192.168.1.201:50070

                3.2运行wordcount测试
                    hdfs上创建目录:
                        ./bin/hadoop fs -mkdir /in
                        
                    从linux上传测试数据文件到hdfs上:
                        ./bin/hadoop fs -put /home/suh/test1 /in
                        
                        执行测试例子:
                        ./bin/hadoop jar hadoop-examples-1.2.1.jar wordcount /in/ /out

版权声明:本文为博主原创文章,未经博主允许不得转载。

Hadoop1.2.1 完全分布式集群搭建实操笔记

标签:hadoop   分布式系统   集群   

原文地址:http://blog.csdn.net/lsxy117/article/details/47359209

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!