at org.apache.hadoop.util.RunJar.main(RunJar.java:153)

标签：

关于手动编译hadoop入门例子WordCount并执行

之前做的例子都是用hadoop中已经编译好jar包来运行示例的
但是这次想要手动编译个实例，练下手
没想到还是遇到点了小困难

[root@centos WordCount]# hadoop jar WordCount.jar  /wc/input /wc/output
Exception in thread "main" java.lang.ClassNotFoundException: /wc/input
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:153)

然后总是报这个错

1、准备编译的文件和环境

首先在找个地方把hadoop安装目录下的WordCount.java拷出来

在WordCount.java所在的文件夹下，建一个文件夹，这里建的是WordCount，用于编译用

[root@centos wordcount_class]# ls
commons-cli-1.2.jar  hadoop-core-1.2.1.jar  WordCount.java
[root@centos wordcount_class]# mkdir WordCount
[root@centos wordcount_class]# ls
commons-cli-1.2.jar  hadoop-core-1.2.1.jar  WordCount  WordCount.java 

2、编译到文件夹下

下面是编译了

需要两个jar包：hadoop-core-1.2.1.jar，commons-cli-1.2.jar
这两个jar包在hadoop安装目录下有
hadoop-core-1.2.1.jar是在根目录下，
commons-cli-1.2.jar是在根目录下的lib目录下
你可以用绝对路径，也可以把这两个jar包拷到之前建立的WordCount文件夹中

编译过程是：
javac -classpath hadoop-core-1.2.1.jar:commons-cli-1.2.jar  WordCount.java -d WordCount

[root@centos wordcount_class]# javac -classpath hadoop-core-1.2.1.jar:commons-cli-1.2.jar WordCount.java -d WordCount
[root@centos wordcount_class]# cd WordCount
[root@centos WordCount]# ls
org

在这里解释下，-classpath可以简写为-cp，后面跟的是要用到的jar包的路径

WordCount.java是我们要用到的java源文件
-d是编译到后面接的WordCoun文件夹下

WordCount.java中的命名空间为如下，如果没有被改的话，
package org.apache.hadoop.examples;

则编译到WordCount文件夹下会会有很多嵌套的子文件夹生成，
比如WordCount下的org，org下的apache，等等，一直到examples是最后一个目录

3、打包jar包

编译完了之后我们要打包成jar包

这个时候，进入WordCount目录中，执行命令为：

jar cvf WordCount.jar *

这个时候WordCount下会出现一个WordCount.jar包

4、在hadoop下执行jar包

然后就可以用来执行了，这里往HDFS文件系统中传东西什么的就不在这儿写了

这里特别注意的是在WordCount中的命名空间，也就是package那一行的东西外加主类要放到jar包后面，

这里是org.apache.hadoop.example.WordCount

[root@centos WordCount]# hadoop dfs -rmr /wc/output
Deleted hdfs://centos:9000/wc/output
[root@centos WordCount]# hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount /wc/input /wc/output

at org.apache.hadoop.util.RunJar.main(RunJar.java:153)

标签：

原文地址：http://www.cnblogs.com/tuhooo/p/5486029.html