码迷，mamicode.com
首页 > 其他好文 > 详细

hadopp 环境搭建

时间：2016-09-10 20:49:55      阅读：413      评论：0      收藏：0      [点我收藏+]

标签：

前序：
首先准备三个虚拟机节点。
 配置hosts文件：每个节点都 如下配置：
vi /etc/hosts
技术分享

1、 每个结点分别产生公私密钥 

  1. ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
        技术分享    技术分享
以上命令是产生公私密钥，产生目录在用户主目录下的.ssh目录中。
Id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件，这个步骤是必须的，过程如下
  1. [root@master .ssh]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
 
单机回环ssh免密码登录测试
如果ssh localhost 返回 技术分享
 则用yum下载SSH ：
  1. yum -y install openssh-clients
 
以下信息表示操作成功，单点回环SSH登录及注销成功，这将为后续跨子结点SSH远程免密码登录作好准备。
技术分享
 
2、其他节点也是如此操作即可。
3、让主结点(master)能通过SSH免密码登录两个子结点（slave）
     为了实现这个功能，两个slave结点的公钥文件中必须要包含主结点的公钥信息，这样

     当master就可以顺利安全地访问这两个slave结点了。操作过程如下：

  1. [root@node1 ~]# scp root@master:~/.ssh/id_dsa.pub ./master_dsa.pub
  2. The authenticity of host ‘master (30.96.76.220)‘ can‘t be established.
  3. RSA key fingerprint is ae:8c:7f:00:df:40:b8:ec:20:4b:53:78:98:46:8a:c5.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. Warning: Permanently added ‘master,30.96.76.220‘ (RSA) to the list of known hosts.
  6. root@master‘s password:
  7. id_dsa.pub 100% 601 0.6KB/s 00:00
  8. [root@node1 .ssh]# cat master_dsa.pub >> authorized_keys
如上过程显示了node1结点通过scp命令远程登录master结点，并复制master的公钥文件到当前的目录下，这一过程需要密码验证。接着，将master结点的公钥文件追加至authorized_keys文件中，通过这步操作，如果不出问题，master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下：
  1. [root@master .ssh]# ssh node1
  2. The authenticity of host ‘node1 (30.96.76.221)‘ can‘t be established.
  3. RSA key fingerprint is ae:8c:7f:00:df:40:b8:ec:20:4b:53:78:98:46:8a:c5.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. Warning: Permanently added ‘node1,30.96.76.221‘ (RSA) to the list of known hosts.
  6. root@node1‘s password:
  7. Last login: Fri Sep 9 17:42:15 2016 from localhost
  8. [root@node1 ~]# ll
  9. 总用量 24
  10. -rw-------. 1 root root 1144 9月 9 18:11 anaconda-ks.cfg
  11. -rw-r--r--. 1 root root 13231 9月 9 18:10 install.log
  12. -rw-r--r--. 1 root root 3482 9月 9 18:09 install.log.syslog
  13. [root@node1 ~]# pwd
  14. /root
  15. [root@node1 ~]# exit
  16. logout
  17. Connection to node1 closed.
  18. [root@master .ssh]#
表面上看，这两个结点的ssh免密码登录已经配置成功，但是我们还需要对主结点master也要进行上面的同样工作，这一步有点让人困惑，但是这是有原因的，具体原因现在也说不太好，据说是真实物理结点时需要做这项工作，因为jobtracker有可能会分布在其它结点上，jobtracker有不存在master结点上的可能性。
  1. [root@master .ssh]# scp root@master:~/.ssh/id_dsa.pub ./master_dsa.pub
  2. The authenticity of host ‘master (30.96.76.220)‘ can‘t be established.
  3. RSA key fingerprint is ae:8c:7f:00:df:40:b8:ec:20:4b:53:78:98:46:8a:c5.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. Warning: Permanently added ‘master,30.96.76.220‘ (RSA) to the list of known hosts.
  6. id_dsa.pub 100% 601 0.6KB/s 00:00
  7. [root@master .ssh]# ssh master
  8. Last login: Fri Sep 9 17:42:39 2016 from localhost
  9. [root@master ~]# hostname
  10. master
  11. [root@master ~]# exit
  12. logout
  13. Connection to master closed.
下载JDK,hadoop安装包,并配置环境变量自行百度。
 
4、配置hadoop 文件：
     4.1、 Core-site.xml
  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!-- Put site-specific property overrides in this file. -->
  6. <configuration>
  7. <property>
  8. <name>fs.default.name</name>
  9. <value>hdfs://master:9000</value>
  10. <final>true></final>
  11. </property>
  12. <property>
  13. <name>hadoop.tmp.dir</name>
  14. <value>/urs/hadoop/tmp</value>
  15. <description>A base for other temporary directories</description>
  16. </property>
  17. </configuration>
  4.2、Hdfs-site.xml配置如下：
  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!-- Put site-specific property overrides in this file. -->
  6. <configuration>
  7. <property>
  8. <name>dfs.name.dir</name>
  9. <value>/usr/hadoop-1.2.1/name</value>
  10. <final>true</final>
  11. </property>
  12. <property>
  13. <name>dfs.data.dir</name>
  14. <value>/usr/hadoop-1.2.1/data</value>
  15. <final>true</final>
  16. </property>
  17. <property>
  18. <name>dfs.replication</name>
  19. <value>2</value>
  20. <final>true</final>
  21. </property>
  22. </configuration>
  4.3、mapred-site.xml:
  1. <?xml version="1.0"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  4. <!-- Put site-specific property overrides in this file. -->
  6. <configuration>
  7. <property>
  8. <name>mapred.job.tracker</name>
  9. <value>30.96.76.220:9001</value>
  10. </property>
  11. </configuration>
（注：如果后续访问 http://30.96.76.220:50070/ 失败。请关闭防火墙试一下。具体问题还是查看日志比较清楚。）
   4.4、hadoop-env.sh:
     export JAVA_HOME=/usr/jdk/jdk1.7.0_76
  4.5 、masters和slaves文件
       技术分享
       技术分享
 
注：复制hoodoop 向 node1,node2.
5、格式化namenode
  1. [root@master ~]# hadoop namenode -format
  2. 16/09/10 17:03:49 INFO namenode.NameNode: STARTUP_MSG:
  3. /************************************************************
  4. STARTUP_MSG: Starting NameNode
  5. STARTUP_MSG: host = master/30.96.76.220
  6. STARTUP_MSG: args = [-format]
  7. STARTUP_MSG: version = 1.2.1
  8. STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by ‘mattf‘ on Mon Jul 22 15:23:09 PDT 2013
  9. STARTUP_MSG: java = 1.7.0_76
  10. ************************************************************/
  11. 16/09/10 17:03:49 INFO util.GSet: Computing capacity for map BlocksMap
  12. 16/09/10 17:03:49 INFO util.GSet: VM type = 64-bit
  13. 16/09/10 17:03:49 INFO util.GSet: 2.0% max memory = 1013645312
  14. 16/09/10 17:03:49 INFO util.GSet: capacity = 2^21 = 2097152 entries
  15. 16/09/10 17:03:49 INFO util.GSet: recommended=2097152, actual=2097152
  16. 16/09/10 17:03:50 INFO namenode.FSNamesystem: fsOwner=root
  17. 16/09/10 17:03:50 INFO namenode.FSNamesystem: supergroup=supergroup
  18. 16/09/10 17:03:50 INFO namenode.FSNamesystem: isPermissionEnabled=true
  19. 16/09/10 17:03:50 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
  20. 16/09/10 17:03:50 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
  21. 16/09/10 17:03:50 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
  22. 16/09/10 17:03:50 INFO namenode.NameNode: Caching file names occuring more than 10 times
  23. 16/09/10 17:03:50 INFO common.Storage: Image file /usr/hadoop-1.2.1/name/current/fsimage of size 110 bytes saved in 0 seconds.
  24. 16/09/10 17:03:51 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/hadoop-1.2.1/name/current/edits
  25. 16/09/10 17:03:51 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/hadoop-1.2.1/name/current/edits
  26. 16/09/10 17:03:51 INFO common.Storage: Storage directory /usr/hadoop-1.2.1/name has been successfully formatted.
  27. 16/09/10 17:03:51 INFO namenode.NameNode: SHUTDOWN_MSG:
  28. /************************************************************
  29. SHUTDOWN_MSG: Shutting down NameNode at master/30.96.76.220
  30. ************************************************************/
注意：上面只要出现“successfully formatted”就表示成功了。
 6、启动hadoop
技术分享
有这四项进程表示启动成功。
技术分享
 技术分享
 表示node1.node2 启动成功
7、通过网站查看集群情况
     技术分享
   
   技术分享
 
 全部成功。周六没有白加班。
 
最后附上原文连接：
 
 

hadopp 环境搭建

标签：

原文地址：http://www.cnblogs.com/shaoyu19900421/p/5860063.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！