《Hadoop实战》学习笔记

标签：

一、安装Hadoop:
1.1.安装并配置好java
vi /etc/profile
添加内容:
    #Set Java Environment
    export JAVA_HOME="/usr/java/jdk1.7.0_75‘‘
    export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
    export PATH="$JAVA_HOME/bin:$PATH"
source /etc/profile

1.2.安装并配置好ssh:
ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

1.3.配置Hadoop:
1.3.1>conf/Hadoop-env.sh:
export JAVA_HOME="/usr/java/jdk1.7.0_75‘‘

1.3.2>conf/core-site.xml:
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

1.3.3>conf/hdfs-site.xml:
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

1.3.4>conf/mapred-site.xml:
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

1.4.启动Hadoop:
1.4.1>格式化Hadoop文件系统HDFS:
bin/hadoop namenode -format

1.4.2>启动所有进程:
bin/start-all.sh

1.4.3>浏览器查看:
http://localhost:50030
http://localhost:50070

1.4.4>关闭所有进程:
bin/stop-all.sh

二、Eclipse使用Hadoop:
2.1.下载并且使用hadoop-eclipse-plugin-1.2.1.jar:
下载地址：http://download.csdn.net/detail/poisonchry/7412615

2.2.建立Hadoop工程，配置参数：

2.3.切换到Advanced parameters，配置参数：

2.4.改变HDFS权限：
bin/hadoop fs -chmod -R 777 /

三、Hadoop语法命令:
3.1.查看指定目录下内容
命令：hadoop dfs –ls [文件目录]
示例:
[root@master bin]# ./hadoop dfs -ls /user/xavier/input
Found 2 items
-rw-r--r--   1 xavier supergroup         25 2015-04-13 11:33 /user/xavier/input/file01
-rw-r--r--   1 xavier supergroup         17 2015-04-13 11:33 /user/xavier/input/file02

3.2.打开某个已存在文件
命令:hadoop dfs –cat [文件]
示例：
[root@master bin]# ./hadoop dfs -cat /user/xavier/input/file01
Hello World Hello Hadoop

《Hadoop实战》学习笔记

标签：

原文地址：http://www.cnblogs.com/xavierjzhang/p/4501422.html