标签：2.3 免密 设置 xml文件 add inpu wordcount 文件系统 ado
1.添加用户
groupadd hadoop
useradd -d /home/hadoop -m hadoop -g hadoop
passwd hadoop 修改密码
付给用户sudo权限
vi /etc/sudoers
在root ALL=(ALL) ALL下面添加
hadoop ALL=(ALL) NOPASSWD:ALL
2.安装jdk
2.1.官网下载地址 下载rpm包
2.2 上传到服务器中，安装
sudo rpm -ivh jdk-8u144-linux-x64.rpm
2.3 配置环境变量
vi ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
3.安装hadoop
3.1.下载
下载地址：http://hadoop.apache.org/releases.html
选择要安装的版本，选择binary
3.2 上传
3.3 解压
tar -zxvf hadoop-2.8.1.tar.gz -C /opt/hadoop #我这里解压到家目录
3.4 修改 etc/hadoop/hadoop-env.sh 文件
设置java的环境变量
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_144
3.5修改 etc/hadoop/core-site.xml 文件
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
3.6 设置免密钥登录
$ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
3.7 格式化文件系统
$ bin/hdfs namenode -format
3.8 运行第一个hadoop程序
$ sbin/start-dfs.sh #启动dfs $ bin/hdfs dfs -mkdir /user #dfs上创建/user目录 $ bin/hdfs dfs -mkdir /user/hadoop #dfs上创建/user/hadoop目录 $ bin/hdfs dfs -mkdir input #dfs上创建/user/hadoop/input目录 $ bin/hdfs dfs -put etc/hadoop/*.xml input #将etc/hadoop目录下的xml文件放到dfs上的/user/hadoop/input下 $bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount input output
#运行hadoop提供的jar包下的wordcount程序 输入路径为/user/hadoop/input 输出路径为/user/hadoop/output $ bin/hdfs dfs -get output output #将dfs的output目录复制到当前目录的output $ cat output/* #查看wrodcount执行的结果 $ sbin/stop-dfs.sh #关闭dfs系统
3.9 Enjoy
标签：2.3 免密 设置 xml文件 add inpu wordcount 文件系统 ado
原文地址：http://www.cnblogs.com/mkdlf/p/7228433.html
