1、环境变量 /etc/profile ——java_home \ hadoop_home
主机IP绑定 /etc/hosts
2、配置SSH无密码访问
进Master主机,创建ssh-key
执行:ssh-keygen -t rsa
此时在~/.ssh文件夹下生成两个文件 id_rsa 和 id_rsa.pub
为了使master对slaver能实现免密码登录,必须拷贝master的公匙到slaver。此操作在master完成。
cd ~/.ssh
scp ./id_rsa.pub Slaver:~/.ssh/id_master.pub
ssh ~/.ssh
cd ~/.ssh
cat id_master.pub >> authorized_keys
开始是没有authorized_keys这个文件的。
3、hadoop配置详解
core-site.xml
fs.defaultFS NameNode URI
io.file.buffer.size SequenceFiles文件中,读写缓存size设定
hdfs-site.xml
namenode
dfs.namenode.name.dir
dfs.namenode.hosts
dfs.blocksize
dfs.namenode.handler.count 设置namenode线程,处理datanode RPC请求
datanode
dfs.datanode.data.dir
4、yarn-site.xml
RM&NM
yarn.acl.enable true/false启用acl
yarn.admin.acl 访问控制列表
RM
yarn.resourcemanager.address 客户端对RM提交作业
yarn.resourcemanager.scheduler.address AM通过RM主机访问host:port跟踪调度程序获取资源
yarn.resourcemanager.resource-tracker.address NM通过RM主机访问host:port
5、hadoop shell命令
hdfs dfs -ls / 查看路径下文件(夹)信息
hdfs dfs -mkdir path 创建文件夹
hdfs dfs -put localfile hadooppath 上传文件
hdfs dfs -text/-cat hadoopfile 查看文件内容