标签：

Hadoop研发在java环境的拓展

一 背景

由于一直使用hadoop streaming形式编写mapreduce程序，所以目前的hadoop程序局限于python语言。下面为了拓展java语言研发，本次实验使用window系统，maven打包，centos系统mapr环境运行。

二 步骤

1 查看hadoop版本，命令 Hadoop version，获得版本号hadoop2.7.0

2 编写pow文件，注意hadoop2.7依赖，

<dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-client</artifactId>

            <version>2.7.0</version>

        </dependency>

3 编写java版的WordCount项目（具体java代码略）

4 maven install 下载依赖包并编译成jar包，在target中把jar包考到集群。

5mapr集群中输入命令运行项目：

hadoop jar maven-hadoop-java-wordcount-template-0.0.1-SNAPSHOT.jar com.example.Driver input output

6实验结果。

运行成功，截图1

截图2

三 附录

eclipse中项目的路径结构

本人将项目源码放在github

https://github.com/rongyux/Hadoop_Maven_Java_HellloWorld

Hadoop实战5:MapReduce编程-WordCount统计单词个数-eclipse-java-windows环境

标签：

原文地址：http://www.cnblogs.com/rongyux/p/5691543.html