码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop的安装和配置——第二章:伪分布模式

时间:2017-12-26 16:12:22      阅读:379      评论:0      收藏:0      [点我收藏+]

标签:资源   tar   round   oca   cat   star   地址   splay   问题   

这篇为大家带来hadoop的伪分布模式:

从最简单的方面来说,伪分布模式就是在本地模式上修改配置文件:

core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml4

备注:本地模式见hadoop的安装与配置——第一章:本地模式

思路:

|——————————|

|  ①:ssh免密登陆   |

|  ②:修改配置文件   |

|  ③:格式化hadoop  |

|  ④:启动hadoop     |

|——————————|

一:ssh的免密登陆

生成id_rsa和id_rsa.pub

[root@localhost hadoop]# ssh-keygen -t rsa

 技术分享图片

进入/root/.ssh下:将id_rsa.pub的信息发在authorized_keys下:

1 [root@localhost hadoop]# cd /root/.ssh/
2 [root@localhost .ssh]# cat id_rsa.pub >> authorized_keys
3 [root@localhost .ssh]# ls
4 authorized_keys  id_rsa  id_rsa.pub  known_hosts

技术分享图片

 

SSH免密登陆详细文档链接地址


 

二:关于配置文件的主要内容

core-site.xml:指定hadoop的主节点master

hdfs-site.xml:指定hadoop中的文件副本数

mapred-site.xml:指定mapreduce的资源管理

yarn-site.xml:——————————————

配置文件可以从hadoop的官方文档中下载,有详细解释,这里为了减少对大家的干扰,就直接选取了部分:

core-site.xml配置修改:

1 <configuration>
2         <property>
3                 <name>fs.default.name</name>
4                 <value>hdfs://localhost</value>(主节点为本机localhost)
5         </property>
6 </configuration>

技术分享图片

hdfs-site.xml配置修改:

1 <configuration>
2         <property>
3                 <name>dfs.replication</name>
4                 <value>1</value>(伪分布模式)
5         </property>
6 </configuration>

技术分享图片

mapred-site.xml配置修改:

备注:

1 若没有mapred-site.xml,选择以下方法复制
2 [root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml
1 <configuration>
2         <property>
3                 <name>mapreduce.framework.name</name>
4                 <value>yarn</value>(选择yarn来mapreduce)
5         </property>
6 </configuration>

技术分享图片

yarn-site.xml配置修改:

 1 <configuration>
 2         <property>
 3                 <name>yarn.resourcemanager.hostname</name>
 4                 <value>localhost</value>
 5         </property>
 6         
 7         <property>
 8                 <name>yarn.nodemanager.aux-services</name>
 9                 <value>mapreduce_shuffle</value>
10         </property>
11 </configuration>

技术分享图片


 

三:格式化hadoop

hadoop namenode -format

 

格式化一次就好了


 

四:启动hadoop

start-all.sh

备注:关闭hadoop:stop-all.sh

想要知道hadoop是否配置成功,那么就使用jps来查询一下进程吧!

我们知道hadoop主要分为存储和计算,所以我们主要查询一下存储和计算的进程是否启动:

1 [root@localhost hadoop]# jps
2 31105 NodeManager(从)(计算)
3 30675 SecondaryNameNode(主-副本)(计算)
4 31139 Jps
5 30822 ResourceManager(主)(计算)
6 30510 DataNode(从)(存储)
7 30382 NameNode(主)(存储)

技术分享图片

有不清楚的地方欢迎大家提问,有问题欢迎大家给出方法!

2017-12-26 15:32:06

 

 

 

 

 

 

 

 

 

 

 

 

 

hadoop的安装和配置——第二章:伪分布模式

标签:资源   tar   round   oca   cat   star   地址   splay   问题   

原文地址:https://www.cnblogs.com/dxxblog/p/8118254.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!