Hadoop详细配置教程

标签：

windows下采用PuTTY或者Xshell连接远程主机

mac用终端连接远程linux主机：ssh user@hostname

user 为 linux 服务器的管理员名称

hostname 为 linux 服务器的IP 

注意：

pwd 可显示当前目录所在位置。

使用who命令可以查看当前登录用户，使用w命令可以看到所有登录用户信息。

查看主机名hostname命令：hostname 或者 uname -n

查看系统版本、内核等详细信息：uname -a

linux如何查看主机的cpu个数和总内存：cat /proc/cpuinfo 和 cat /proc/meminfo

安装jdk
# ls
# javac //检测java环境（得出提示，按提示安装）
# sudo apt-get install openjdk-7-jdk
# javac //检测java环境
# vim /etc/profile
键盘输入a,进入编辑模式，编辑文件，设置JAVA环境变量
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
点ESC键退出编辑模式
输入:wq保存退出
# source /etc/profile 　　(使之生效)
# javac //检测java环境

安装hadoop
下载hadoop:
# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
# ls
# mv hadoop-1.2.1.tar.gz /opt/ 　(把hadoop安装包放到opt目录下，注：mkdir为创建文件夹命令)
# cd /opt/
# ls
# tar -zxvf hadoop-1.2.1.tar.gz 　 (解压缩)
# ls
# cd hadoop-1.2.1/
# ls
(主要配置的文件夹为conf)
# cd conf/
# ls
主要配置4个文件：mapred-site.xml、core-site.xml、hdfs-site.xml、hadoop-env.sh
# vim hadoop-env.sh
编辑有export=JAVA_HOME那一行:去掉前面#号，export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
如果忘了java环境变量地址，先退出，然后通过 # echo $JAVA_HOME 查看变量地址，然后复制下来去粘贴。最后:wq保存

# vim core-site.xml（注：imooc是自己本机的hostname即主机名,9000是端口号）
配置内容：
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://imooc:9000</value>
</property>

</configuration>

:wq保存退出

# vim hdfs-site.xml
配置内容：
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

</configuration>

:wq保存退出

# vim mapred-site.xml
配置内容：
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>

</configuration>

:wq保存退出

# vim /etc/profile (hadoop环境变量配置)
export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
:wq保存退出

# source /etc/profile (设置生效)
# hadoop (检测hadoop)
# cd ..
# cd bin/ (即/opt/hadoop-1.2.1/bin目录)
# ls
# hadoop namenode -format (对namenode进行格式化操作)

启动hadoop:
# cd /opt/hadoop-1.2.1/bin/
# ls
# start-all.sh
# jps （使用jps查看hadoop是否运行正常，运行了哪些进程）

# hadoop fs -ls /(看看hadoop下面有哪些文件)

Hadoop详细配置教程

标签：

原文地址：http://www.cnblogs.com/abelsu/p/5138120.html