码迷,mamicode.com
首页 > Windows程序 > 详细

Windows上安装运行hadoop

时间:2018-05-26 00:02:33      阅读:313      评论:0      收藏:0      [点我收藏+]

标签:访问   运行命令   技术分享   oca   jdk1.8   图片   info   nbsp   details   

 0.自己编译安装步骤在这里,有英文版本连接:《英文传送门》。

自己编译尝试后不成功,换为下面使用别人编译好的版本的方法。参考博客:《初学hadoop,windows下安装》 

 

 

1.下载JDK,并设置JAVA_HOME。(使用不带空格的路径,比如Program Files,将在后面的配置中报错!)

假设JAVA_HOME路径为C:\Java\jdk1.8.0_73

 

2.下载hadoop。下载地址:http://hadoop.apache.org/releases.html

这里下载使用的是2.8.3的二进制版本文件,解压到d:/hadoop-2.8.3

技术分享图片

 

3.下载winutils。这个是别人编译好的hadoop的windows版本二进制文件,不需要我们自己进行编译。下载下来然后将hadoop-2.8.3进行!覆盖!即可。

下载地址:https://github.com/steveloughran/winutils

 技术分享图片

 

4.在路径D:\hadoop-2.8.3\etc\hadoop下修改文件

①core.site.xml(配置默认hdfs的访问端口)

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

②hdfs-site.xml(设置复制数为1,即不进行复制。namenode文件路径以及datanode数据路径。)

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容(设置mr使用的框架,这里使用yarn)

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

④yarn-site.xml(这里yarn设置使用了mr混洗)

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

⑤hadoop-env.cmd

设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错!)

set JAVA_HOME=C:\Java\jdk1.8.0_73

 

6.进入D:\hadoop-2.8.3\bin目录,格式化hdfs

在cmd中运行命令 hdfs namenode -format

 

7.进入D:\hadoop-2.8.3\sbin目录

在cmd中运行命令start-all.cmd

 

8.在浏览器地址栏中输入:http://localhost:8088查看集群状态。

技术分享图片

 

 

9.在浏览器地址栏中输入:http://localhost:50070查看Hadoop状态。

技术分享图片

以上。

 

 

 

Windows上安装运行hadoop

标签:访问   运行命令   技术分享   oca   jdk1.8   图片   info   nbsp   details   

原文地址:https://www.cnblogs.com/chevin/p/9090683.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!