码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop环境配置

时间:2018-10-22 00:01:59      阅读:222      评论:0      收藏:0      [点我收藏+]

标签:mat   这一   pen   bsp   wget   job   异常   archive   行编辑   

在虚拟机中安装Linux,我这里选用VMware虚拟机;Linux版本是Ubuntu

VMware安装Ubuntu这里就不做说明了,网上有很多教程

 

1.安装jdk

apt install openjdk-8-jre-headless

开始安装

技术分享图片

2.配置Java环境变量

进入/etc/profile文件

技术分享图片

输入以下内容

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

 

技术分享图片

 可能会遇到“您没有权限修改”,尝试输入 sudo gedit /etc/profile;再进行编辑

 3.安装hadoop

输入以下命令,默认安装在桌面(desktop)

wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

 

 移动到/opt/下,便于管理

mv hadoop-1.2.1.tar.gz /opt/

 

进入conf文件夹下,cd conf

编辑hadoop-env.sh

vim hadoop-env.sh

 

编辑core-site.xml

vim core-site.xml

 

在Property里面输入以下配置信息

<property>

<name>hadoop.tmp.dir</name>

<value>/hadoop</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/hadoop/name</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

 

技术分享图片

 

编辑hdfs-site.xml

vim hdfs-site.xml

将下面这句话复制到property里

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

编辑mapred-site.xml

vim mapred-site.xml

复制这句话,同理

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

再回到/etc/profile,添加信息如下,配置Hadoop环境变量

技术分享图片

使其生效

source /etc/profile

进入/opt/hadoop-1.2.1/bin

对namenode进行格式化操作

hadoop namenode -format

 

如果之前的配置正确,这一步不应该报异常,报错的话请检查之前四个文件(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml)的配置是否正确

 

启动

 start-all.sh

然后输入root密码

 

最后在/opt/hadoop-1.2.1/bin目录下输入

jps

结果如下,至此,Hadoop环境搭建成功

技术分享图片

 

Hadoop环境配置

标签:mat   这一   pen   bsp   wget   job   异常   archive   行编辑   

原文地址:https://www.cnblogs.com/Java-Starter/p/9827591.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!