码迷,mamicode.com
首页 > 其他好文 > 详细

WordCount&Hadoop

时间:2015-01-22 17:28:16      阅读:164      评论:0      收藏:0      [点我收藏+]

标签:

第一个Hadoop下的Wordcount程序

这次的源码是用的Hadoop实战的源码

首先将源码拷贝进Linux下的工作目录下,在/home/hadoop/workspace下。

导入两个测试文件

echo "Hello World Bye World"  file01

echo "Hello Hadoop Bye Hadoop" file02

创建一个Jar包目录:mkdir FirstJar 

编译Java文件至FirstJar下:javac -classpath /usr/hadoop/hadoop-XXX-core.jar -d FirstJar WordCount.java 

打包FirstJar:Java -cvf WordCount.jar -C FirstJar/ .   (注意这个点不要漏掉)

在HDFS上创建输入输出目录:hadoop dfs -mkdir input,hadoop dfs -mkdir output

上传测试文件至HDFS:Hadoop dfs -put  file0*  input

运行Jar包:Hadoop jar WordCount.jar WordCount input output

需要说明的一点:Hadoop实战源码中有包目录,编译过程中若不删除包目录,在执行jar包是会发生找不到class类的错误,即便执行时在类前加上该目录也找不到,具体愿意还待研究。

Linux 删除目录,文件:rm -rf dirname

WordCount&Hadoop

标签:

原文地址:http://www.cnblogs.com/doathinker/p/4241756.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!