标签：class image etc front site 安装过程 map hdfs prope
安装前
1，更新apt
sudo apt-get update
会让你输入密码（自己登录Ubuntu的时候设置的），输入密码不会显示在终端面板上，确定自己敲对之后点回车就行。
2,安装SSH服务器
sudo apt-get install openssh-server
安装过程中有个Y/N? 选Y
如果出现
解决一：
sudo rm /var/cache/apt/archives/lock sudo rm /var/lib/dpkg/lock
sudo rm /var/lib/dpkg/lock-frontend
解决二：
ps -e | grep apt
会出现类似这样结果
这时我们只需要杀死apt-get进程就好了(找不到还是用解决一强制解锁吧-_-||)
sudo kill 【进程号（如701）】
3,登录本机
ssh localhost
出现yes or no ? yes
输入密码（你自己知道）
4，利用ssh-keygen生成密钥（主要用来设置下次登录不用输密码）
cd ~/.ssh/
ssh-keygen -t rsa
三下回车
cat ./id_rsa.pub >> authorized_keys
5,安装JAVA环境
sudo apt-get install default-jre default-jdk
1)打开环境变量配置文件
vim ~/.bashrc 按I键 在开头插入 export JAVA_HOME=/usr/lib/jvm/default-java Esc键保存 输入 :wq 退出
如果没有安装vim 参考地址：https://blog.csdn.net/lixinghua666/article/details/82289809
sudo apt install vim
2)使变量生效
source ~/.bashrc
3)检查
echo $JAVA_HOME
出现
安装Hadoop
1）下载hadoop-2.7.1.tar.gz 下载地址：链接: https://pan.baidu.com/s/1Nkp4hQEMWblKqdBvj-lUZA 密码: yy18
参考地址：https://blog.csdn.net/se7en_q/article/details/47258007
https://www.cnblogs.com/bybdz/p/9534079.html
2）我把文件放在了共享文件夹/media/sf_gx下，解压，放到/usr/local下
sudo tar -zxf /media/sf_gx/hadoop-2.7.1_64bit.tar.gz -C /usr/local
3）改名
cd /usr/local sudo mv ./hadoop-2.7.1./hadoop
4)修改权限(msq是我的用户名，根据你的实际情况修改）
sudo shown -R msq ./hadoop
5)在/usr/local/hadoop/目录下，建立tmp、hdfs/name、hdfs/data目录
cd /usr/local/hadoop mkdir tmp mkdir hdfs mkdir hdfs/data mkdir hdfs/name
6)Hadoop配置
进入/usr/local/hadoop/etc/hadoop目录，配置 hadoop-env.sh等。涉及的配置文件如下：
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
(1)配置core-site.xml
添加如下配置：
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI，文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
(2)配置hdfs-site.xml
添加如下配置
<configuration>
<!—hdfs-site.xml-->
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数，配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
(3)配置mapred-site.xml
这个文件初始时是没有的，有一个模板文件，mapred-site.xml.template
所以需要拷贝一份，并重命名为mapred-site.xml
添加如下配置：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(4)配置yarn-site.xml
添加如下配置：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>msq</value>
</property>
</configuration>
7)进入hadoop 查看版本信息
cd /usr/local/hadoop ./bin/hadoop versio
8)启动hadoop
(1)格式化namenode
/usr/local/hadoop/bin/hdfs/ namenode -format
出现0代表成功
(2）启动NameNode 和 DataNode 守护进程
$ sbin/start-dfs.sh
(3）启动ResourceManager 和 NodeManager 守护进程
$ sbin/start-yarn.sh
9)检查是否启动成功
jps
出现
安装成功^.^
在浏览器中输入：localhost:50070/
出现
完美~~~
标签：class image etc front site 安装过程 map hdfs prope
原文地址：https://www.cnblogs.com/msq2000/p/11779015.html
