标签:orm http 环境变量 Opens site inf sudo $path 启动
配置前先把域名映射配好哈 详情参考我的其他随笔
下载好hdfs.tar.gz 后
在/home/ldy下
mkdir apps/
tar -xzvf hdfs.tar.gz -C /home/ldy/apps/ #专门用来安装hdfs 和jdk的
修改环境变量:vim /etc/profile
在最后的fi上面添加
export HDP_HOME=/home/ldy/apps/hadoop-2.8.5/etc/hadoop #路径因人而定
export PATH=$PATH:$HDP_HOME/sbin : $HDP_HOME/bin
hadoop-daemon.sh 等命令在sbin目录下(旧版的在bin下) 最好两个都配。jdk的配置也是一样的道理
配置文件:
在/home/ldy/apps/hadoop-2.8.5/etc/hadoop下
vim hadoop-env.sh #告诉它java_home即可
Vim core-site.xml
Vim hdfs-site.xml
注:core-site.xml配置错误会导致 incorrect namenode addr
name标签的值不可以修改
域名映射后可以写主机名,且所有服务器的core-site.xml的地址必须一致,确保使用同一个文件系统
配置一下secondary namenodes:(这个是优化设置,配了会好些)
建议大家先配好一个服务器然后直接复制粘贴文件到其他服务器,省得麻烦
这里远程连接需要 scp 以及开启 ssh
开启ssh:
运行 ps -e | grep ssh,查看是否有sshd进程
如果没有,说明server没启动,通过 /etc/init.d/ssh -start 启动server进程,如果提示ssh不存在 那么就是没安装server
安装server
1.sudo apt-get update
2.sudo apt-get install openssh-server
apt-get过程中可能出现:
E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarly unavailable)
E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), is an other process using it?
当出现这个报错时直接:
sudo rm /var/lib/dpkg/lock-frontend
sudo rm /var/lib/dpkg/lock
接下来有可能还会报下面的错:
E: Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)
Unable to lock directory /var/lib/apt/lists
sudo rm /var/lib/apt/lists/lock
apt-get update 即可
Scp :
scp -r /home/ldy/apps/hadoop-2.8.5 ubuntu-01:/home/ldy/apps/
报错: ssh连接The authenticity of host can‘t be established
修改/etc/ssh/ssh_config文件的配置
修改:(没有就在最后面添加)
StrictHostKeyChecking no
注:一般是禁止root用户登录的,切换到普通用户可正常使用
当出现这个错误时:
Permisson denied ,please try again
当出现这个错误时,被拒绝,是因为ssh的权限问题,需要修改权限,进入到/etc/ssh文件夹下,用root用户修改文件sshd_config
将PermitRootLogin no 改为 PermitRootLogin yes
记得重启ssh:sudo service ssh restart
hadoop namenode -format (一次就够了)
start-dfs.sh (开启namenode和datanode服务)
使用这个命令每次都要输密码,这里可以设一个免密登录,在namenode服务器上设比较好
免密登录:
ssh-keygen;(一直回车就行)
ssh-copy-id 主机名;(有多少个主机执行多少次这个命令)
vim etc/hadoop/slaves (加上所有需要免密的主机名)
注意:虚拟机重启后得重新执行 start-dfs.sh,namenode和datanode才启动(其本质是软件)
若有不对敬请指正........
标签:orm http 环境变量 Opens site inf sudo $path 启动
原文地址:https://www.cnblogs.com/ldy233/p/11206622.html