hadoop配置安装

标签：配置文件   linux   export   软件   hadoop   

1. 必备软件

  这里以Hadoop 1.1.2为学习的版本。

• jdk-6u24-linux-i586.bin

• hadoop-1.1.2.tar

• hbase-0.94.7-security.tar

• hive-0.9.0.tar

• sqoop-1.4.3.bin__hadoop-1.0.0.tar

• zookeeper-3.4.5.tar

2. 安装步骤

  linux系统环境配置，jdk和hadoop的安装参考http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

  在此只列出配置文件。

/etc/profile

export JAVA_HOME=/usr/jdk1.6
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATh"
export HADOOP_HOME=/usr/hadoop-1.1.2
export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH"
$HADOOP_HOME/conf

添加节点：

    大致步骤：

    1)、在新节点安装好hadoop；

    2)、把namenode的有关配置文件复制到该节点；

    3)、修改master和slaves文件，增加该节点；

    4)、设置ssh免密码进出该节点；

    5)、单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start tasktracker/datanode)；

    6)、运行start-balancer.sh进行数据负载均衡。

3.运行mapreduce程序wordcount

参考http://blog.csdn.net/yutianzuijin/article/details/9457431

javac -classpath /usr/hadoop-1.1.2/hadoop-core-1.1.2.jar:/u
sr/hadoop-1.1.2/lib/commons-cli-1.2.jar WordCount.java -d classes

Hadoop异常：Bad connect ack with firstBadLink                

参考http://flypig.iteye.com/blog/1276554

eclipse打包问题

http://www.aboutyun.com/thread-7086-1-1.html

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
         at java.net.URLClassLoader$1.run(URLClassLoader.java:200)
         at java.security.AccessController.doPrivileged(Native Method)
         at java.net.URLClassLoader.findClass(URLClassLoader.java:188)
         at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
         at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
         at java.lang.ClassLoader.loadClass(ClassLoader.java:252)
         at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:320)

参考http://www.aboutyun.com/thread-7086-1-1.html

这个坑爹的版本，老是报错。终于解决了。

eclipse不能导出jar文件，需要先运行一次main方法，不管对错，然后导出Runnable jar file。虽然有冗余但不会报错。

程序运行代码

 hadoop -jar /usr/demo/WordCount.jar hdfs://192.168.126.131:9000/zg/input hdfs://192.168.126.131:9000/zg/output

各种曲折磨难，终于跑通wordcount了。自我庆祝一下。

hadoop配置安装

标签：配置文件   linux   export   软件   hadoop   

原文地址：http://zhaogangz9.blog.51cto.com/2644557/1605953