标签：权限 编辑 position efault nodeps pre ice reduce 子网掩码
hadoop入门（二）
hadoop的配置
1.本地模式
2.伪分布式
3.分布式
一、配置linux环境：
1打开虚拟网络编辑器，选择 VMnet1 仅主机模式，
子网 IP 设为 192.168.1.0 ，子网掩码设为 255.255.255.0
2.增加用户组
创建用户：
adduser 用户名
password 用户名
# useradd dev #创建用户
# passwd dev #修改密码
更改用户 dev 的密码 。
新的 密码：
重新输入新的 密码：
passwd：所有的身份验证令牌已经成功更新。
3.修改linuxIP地址
4.修改主机名
vi /etc/sysconfig/network
5.配置主机名和本地映射关系
vi /etc/hosts
6.关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
5.在windows上配置主机名的映射
6.安装jdk
6.卸载本身带的JDK
rpm-qa|grep jdk
rpm -e --nodeps[jdk名称1 jdk名称2]
7.root用户下设置无密码用户切换
ls-l/etc/sudoers
vi /etc/sudoers
加:一行
用户名 ALL=（root）NOPASSWD:ALL
克隆虚拟机并进行相关的配置
- 创建我们要使用的目录
Sudo mkdir /opt/softwares
Sudo mkdir /opt/modules
Sudo mkdir /opt/tools
Sudo mkdir/opt/datas
- 将root用户的目录改变成kfk用户所属目录
Sudo chown –R kfk:kfk /opt/*
- 将JDK安装包通过工具上传到/opt/softwares目录下
- 更改文件的可执行权限
Chmod u+x /opt/softwares/*
- 安装解压JDK
Tar –zxf jdk -C /opt/modules/
- 配置jdk环境
- 修改虚拟机大小
- 修改虚拟机名称
二、配置hadoop环境
1.配置hadoo环境变量
在vi /software/hadoop-2.5.0/etc/hadoop/hadoop-env.sh
添加export JAVA_HOME=/opt/software/jdk1.8.0_11
2.修改 core-site.xml 文件
用来设置namenode的地址
这个用来设置namenode的地址
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
指定hadoop运行时产生的文件存储位置
<configuration>
<property>
<name> hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/tmp</value>
</property>
</configuration>
3.修改hdfs.site.xml 文件
用来修改datanode的副本数
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4:修改:mapred-site.xml:
目的是让mapred运行在yarn上
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.修改：yarn.site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata-pro01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
第一个property是用来指定resoucemanager的地址
第二个property是用来reducer获取数据的方式
6.修改环境变量
#HADOOP_HOME
Export HADOOP_HOME=/opt/modules/hadoop-2.5.0
Export PATH=$PATH:$HADOOP_HOME/bin
生效环境变量：
Source /etc/profile
7.格式化HDFS
Bin/hdfs namenode -format
hadoop(2)hadoop配置
标签：权限 编辑 position efault nodeps pre ice reduce 子网掩码
原文地址：https://www.cnblogs.com/lijing1/p/9687517.html
