码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop(2)hadoop配置

时间:2018-09-21 17:37:20      阅读:166      评论:0      收藏:0      [点我收藏+]

标签:权限   编辑   position   efault   nodeps   pre   ice   reduce   子网掩码   

hadoop入门(二)
hadoop的配置
1.本地模式
2.伪分布式
3.分布式
 
 
一、配置linux环境
1打开虚拟网络编辑器,选择 VMnet1 仅主机模式,
子网 IP 设为 192.168.1.0 ,子网掩码设为 255.255.255.0
2.增加用户组
创建用户:
adduser 用户名
password  用户名
# useradd dev #创建用户
# passwd dev #修改密码
更改用户 dev 的密码
新的 密码:
重新输入新的 密码:
passwd:所有的身份验证令牌已经成功更新。
3.修改linuxIP地址
4.修改主机名
vi /etc/sysconfig/network
5.配置主机名和本地映射关系
vi /etc/hosts
6.关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
5.在windows上配置主机名的映射
6.安装jdk
6.卸载本身带的JDK
rpm-qa|grep jdk
rpm -e --nodeps[jdk名称1 jdk名称2]
7.root用户下设置无密码用户切换
ls-l/etc/sudoers
vi /etc/sudoers
加:一行
用户名 ALL=(root)NOPASSWD:ALL
 
克隆虚拟机并进行相关的配置
 
  1. 创建我们要使用的目录
Sudo mkdir /opt/softwares
Sudo mkdir /opt/modules
Sudo mkdir /opt/tools
Sudo mkdir/opt/datas
 
  1. root用户的目录改变成kfk用户所属目录
Sudo chown –R kfk:kfk /opt/*
  1. JDK安装包通过工具上传到/opt/softwares目录下
  2. 更改文件的可执行权限
Chmod u+x /opt/softwares/*
  1. 安装解压JDK
Tar –zxf jdk  -C /opt/modules/
  1. 配置jdk环境
  2. 修改虚拟机大小
  3. 修改虚拟机名称
 
 
 
二、配置hadoop环境
1.配置hadoo环境变量
在vi /software/hadoop-2.5.0/etc/hadoop/hadoop-env.sh
添加export JAVA_HOME=/opt/software/jdk1.8.0_11
2.修改 core-site.xml 文件
用来设置namenode的地址
这个用来设置namenode的地址
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
 
 
指定hadoop运行时产生的文件存储位置
<configuration>
    <property>
        <name> hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.5.0/data/tmp</value>
    </property>
</configuration>
 
3.修改hdfs.site.xml 文件
用来修改datanode的副本数
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
 
4:修改:mapred-site.xml:
目的是让mapred运行在yarn
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
 
5.修改:yarn.site.xml
<configuration>
      
        <property>
                     <name>yarn.resourcemanager.hostname</name>
                     <value>bigdata-pro01</value>
              </property>
        <property>
                     <name>yarn.nodemanager.aux-services</name>
                     <value>mapreduce_shuffle</value>
              </property>
</configuration>
 
第一个property是用来指定resoucemanager的地址
第二个property是用来reducer获取数据的方式
 
 
6.修改环境变量
#HADOOP_HOME
Export HADOOP_HOME=/opt/modules/hadoop-2.5.0
Export PATH=$PATH:$HADOOP_HOME/bin
 
生效环境变量:
Source /etc/profile
 
7.格式化HDFS
Bin/hdfs namenode -format

hadoop(2)hadoop配置

标签:权限   编辑   position   efault   nodeps   pre   ice   reduce   子网掩码   

原文地址:https://www.cnblogs.com/lijing1/p/9687517.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!