码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop安装

时间:2018-01-18 18:52:54      阅读:141      评论:0      收藏:0      [点我收藏+]

标签:admin   body   scp   shell命令   ddr   资源   count   mkdir   shel   

1、环境变量 /etc/profile  ——java_home \ hadoop_home

     主机IP绑定 /etc/hosts

 

2、配置SSH无密码访问

进Master主机,创建ssh-key

执行:ssh-keygen -t rsa

此时在~/.ssh文件夹下生成两个文件 id_rsa 和 id_rsa.pub

为了使master对slaver能实现免密码登录,必须拷贝master的公匙到slaver。此操作在master完成。

cd ~/.ssh

scp ./id_rsa.pub Slaver:~/.ssh/id_master.pub

ssh ~/.ssh

cd ~/.ssh

cat id_master.pub >> authorized_keys

开始是没有authorized_keys这个文件的。

 

3、hadoop配置详解

core-site.xml 

  fs.defaultFS     NameNode URI

  io.file.buffer.size   SequenceFiles文件中,读写缓存size设定

hdfs-site.xml

  namenode 

    dfs.namenode.name.dir

    dfs.namenode.hosts

    dfs.blocksize

    dfs.namenode.handler.count  设置namenode线程,处理datanode RPC请求

  datanode

    dfs.datanode.data.dir

 

4、yarn-site.xml

  RM&NM

    yarn.acl.enable  true/false启用acl

    yarn.admin.acl  访问控制列表

  RM

    yarn.resourcemanager.address  客户端对RM提交作业

    yarn.resourcemanager.scheduler.address  AM通过RM主机访问host:port跟踪调度程序获取资源

    yarn.resourcemanager.resource-tracker.address  NM通过RM主机访问host:port 

 

5、hadoop shell命令

hdfs dfs -ls /  查看路径下文件(夹)信息

hdfs dfs -mkdir path  创建文件夹

hdfs dfs -put localfile hadooppath  上传文件

hdfs dfs -text/-cat hadoopfile  查看文件内容

 

 

      

     

 

hadoop安装

标签:admin   body   scp   shell命令   ddr   资源   count   mkdir   shel   

原文地址:https://www.cnblogs.com/ng1991/p/8311729.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!