标签:
【如果觉得我的笔记写的好,您可以小额赞助我:支付宝 15202166392】
一、安装Hadoop:
1.1.安装并配置好java
vi /etc/profile
添加内容:
#Set Java Environment
export JAVA_HOME="/usr/java/jdk1.7.0_79‘‘
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/bin:$PATH"
source /etc/profile
update-alternatives --install /usr/bin/java java /usr/java/jdk1.7.0_79/bin/java 300
update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.7.0_79/bin/javac 300
update-alternatives --config java
1.2.安装并配置好ssh:
ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
1.3.配置Hadoop:
1.3.1>conf/Hadoop-env.sh:
export JAVA_HOME="/usr/java/jdk1.7.0_75‘‘
1.3.2>conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
1.3.3>conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
1.3.4>conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
1.4.启动Hadoop:
1.4.1>格式化Hadoop文件系统HDFS:
bin/hadoop namenode -format
1.4.2>启动所有进程:
bin/start-all.sh
1.4.3>浏览器查看:
http://localhost:50030
http://localhost:50070
1.4.4>关闭所有进程:
bin/stop-all.sh
二、Eclipse使用Hadoop:
2.1.下载并且使用hadoop-eclipse-plugin-1.2.1.jar:
下载地址:http://download.csdn.net/detail/poisonchry/7412615
2.2.建立Hadoop工程,配置参数:
参数名 | 配置参数 | 说明 |
Location name | Hadoop | |
MapReduce Master | Host: localhost | NameNode的IP地址 |
MapReduce Master | Port: 9001 | MapReduce Port,参考自己配置的mapred-site.xml |
DFS Master | Port:9000 | DFS Port,参考自己配置的core-site.xml |
User name | xavier |
2.3.切换到Advanced parameters,配置参数:
参数名 | 配置参数 | 说明 |
fs.default.name | hdfs://localhost:9000 | 参考core-site.xml |
hadoop.tmp.dir | /home/xavier/Hadoop/tmp | 参考core-site.xml |
mapred.job.tracker | hdfs://localhost:9001 | 参考mapred-site.xml |
2.4.改变HDFS权限:
bin/hadoop fs -chmod -R 777 /
三、Hadoop语法命令:
3.1.查看指定目录下内容
命令:hadoop dfs –ls [文件目录]
示例:
[root@master bin]# ./hadoop dfs -ls /user/xavier/input
Found 2 items
-rw-r--r-- 1 xavier supergroup 25 2015-04-13 11:33 /user/xavier/input/file01
-rw-r--r-- 1 xavier supergroup 17 2015-04-13 11:33 /user/xavier/input/file02
3.2.打开某个已存在文件
命令:hadoop dfs –cat [文件]
示例:
[root@master bin]# ./hadoop dfs -cat /user/xavier/input/file01
Hello World Hello Hadoop
标签:
原文地址:http://www.cnblogs.com/xavierjzhang/p/4501422.html