标签：
1.伪分布式的安装
1.1 修改ip
(1)打开VMWare或者VirtualBox的虚拟网卡
(2)在VMWare或者VirtualBox设置网络连接方式为host-only
(3)在linux中，修改ip。有上角的图标，右键，选择Edit Connections....
****ip必须与windows下虚拟网卡的ip在同一个网段，网关必须是存在的。
(4)重启网卡，执行命令service network restart
****报错，如no suitable adapter错误，
(5)验证:执行命令ifconfig
1.2 关闭防火墙
(1)执行命令:service iptables stop 关闭防火墙
(2)验证:执行命令service iptables status
1.3 关闭防火墙的自动开启
(1)执行命令chkconfig iptables off
(2)验证:执行命令chkconfig --list|grep iptables
1.4 修改hostname
(1)执行命令hostname master 修改会话中的hostname
(2)验证:执行命令hostname
(3)执行命令vi /etc/sysconfig/network
修改文件中的hostname： HOSTNAME=master
(4)验证:执行命令reboot -h now 重启机器
1.5 设置ip与hostname绑定
(1)执行命令vi /etc/hosts
在文本最后增加一行192.168.80.100 master
(2)验证:ping master
(3)在window中配置:主机名对应的ip
C:\Windows\System32\drivers\etc\hosts
192.168.80.100 master
1.6 ssh免密码登陆
(1)执行命令ssh-keygen -t rsa （然后一路Enter） 产生秘钥位于/root/.ssh/
(2)执行命令cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys 产生授权文件
(3)验证:ssh localhost (ssh 主机名)
1.7 安装jdk
(1)使用winscp把jdk、hadoop复制到linux的/home/big_data/zip
(2)cp /home/big_data/zip/* /home/big_data/
(3)cd /home/big_data
(4)tar -zxvf jdk-7u60-linux-i586.tar.gz
(5)重命名 mv jdk1.7.0_60 jdk
(6)执行命令 vi /etc/profile 设置环境变量
增加两行
1 export JAVA_HOME= /home/big_data/jdk 2 export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
执行命令 source /etc/profile
(7)验证:执行命令java -version
1.8 安装hadoop
(1)执行命令 tar -zxvf hadoop-1.2.1.tar.gz 解压缩
(2)执行命令 mv hadoop-1.2.1 hadoop
(3)执行命令 vi /etc/profile 设置环境变量
增加一行 export HADOOP_HOME=/home/big_data/hadoop
修改一行 export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出
执行命令 source /etc/profile
(4)验证:执行命令 hadoop
(5)修改位于conf/的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
<1>文件hadoop-env.sh的第9行（指定jdk的安装路径)
1 export JAVA_HOME=/home/big_data/jdk/
<2>文件core-site.xml （hadoop的核心配置文件，用于配置namenode的地址和端口）
1 <configuration> 2 <property> 3 <name>fs.default.name</name> 4 <value>hdfs://master:9000</value> 5 <description>change your own hostname</description> 6 </property> 7 <property> 8 <name>hadoop.tmp.dir</name> 9 <value>/home/big_data/hadoop/tmp</value> 10 </property> 11 </configuration>
<3>文件hdfs-site.xml (配置replication，即数据保存份数)
1 <configuration> 2 <property> 3 <name>dfs.replication</name> #表示设置副本数，默认是3 4 <value>1</value> 5 </property> 6 <property> 7 <name>dfs.name.dir</name> # 先创建 mkdir -p /home/big_data/hadoop/hdfs 8 <value>/home/big_data/hadoop/hdfs/name</value> 9 </property> 10 <property> 11 <name>dfs.data.dir</name> 12 <value>/home/big_data/hadoop/hdfs/data</value> 13 </property> 14 <property> 15 <name>dfs.permissions</name> #表示是否设置权限控制 16 <value>false</value> 17 </property> 18 </configuration>
如果是super-user(超级用户)，它是nameNode进程的标识。系统不会执行任何权限检查
<4>文件mapred-site.xml (配置jobtracker的地址和端口)
1 <configuration> 2 <property> 3 <name>mapred.job.tracker</name> 4 <value>master:9001</value> 5 <description>change your own hostname</description> 6 </property> 7 </configuration> 8
(6)执行命令 hadoop namenode -format 进行格式化 (格式化hadoop的文件系统HDFS)
如果报错：
[root@master hdfs]# hadoop namenode -format
14/07/18 05:25:26 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = master/192.168.80.100
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.1
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by ‘mattf‘ on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG: java = 1.7.0_60
************************************************************/
Re-format filesystem in /home/big_data/hadoop/hdfs/name ? (Y or N) n
Format aborted in /home/big_data/hadoop/hdfs/name
14/07/18 05:25:31 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.80.100
************************************************************/
请先删除 rm -rf /home/big_data/hdfs/*
(7)执行命令 start-all.sh 启动hadoop
(8)验证：
<1>执行命令jps 查看java进程，发现5个进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
<2>通过浏览器查看:http://master:50070 和 http://master:50030
*****修改windows的C:/Windows/system32/drivers/etc/目录下的hosts文件
1.9如果去掉警告提示：
[root@cloud4 ~]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.（去掉警告）
方法如下：
[root@cloud4 ~]# vi /etc/profile (添加一句话)
# /etc/profile
export HADOOP_HOME_WARN_SUPPRESS=1
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
[root@cloud4 ~]# source /etc/peofile （立即生效）
先来爽一把，代码测试：
mkdir input
cp conf/* input/
bin/hadoop jar hadoop-examples-1.2.1.jar wordcount file:////home/big_data/hadoop/input output
hadoop fs -cat output/p*
好了，看到这个结果，你可以笑一把，期待我下一章博客的到来吧？？?
哈哈
标签：
原文地址：http://www.cnblogs.com/Jiangzl/p/4198544.html
