标签:中继 zed ssh 网络 linu example .lib lin chkconfig
大数据问题汇总
1.安装问题
1.安装步骤,详见文档《centos虚拟机安装指南》
2.vi编辑器使用问题,详见文档《linux常用命令.pdf》
3.网络中继更改问题
命令: vi /etc/sysconfig/network-scripts/ifcfg-eth0
·········需要修改的代码
·········DEVICE=eth0
HWADDR=00:0C:29:11:02:E8
TYPE=Ethernet
UUID=c1038317-21f4-4251-a68f-0962fd644cab
NBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.17.238
GATEWAY=192.168.17.1
NDS1=114.114.114.114
IPV6INIT=NO
安装步骤到此结束
2.hadoop 环境配置问题
1.修改主机名称
命令:vi /etc/hosts
2.配置java ,hadoop环境变量
命令:vi/etc/prifile
#java
JAVA_HOME=/jdk1.7.0_79
JAVA_BIN=/jdk1.7.0_79/bin
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
#hadoop
export HADOOP_HOME=/home/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=/home/hadoop-2.5.2/lib/native/
生效 命令:. /etc/prifile
3关闭放火枪
service iptables stop
chkconfig iptables off
3.1修改配置文件
vi /etc/selinux/config
修改为:
SELINUX=disabled
4.ssh免密设置
下载 ssh服务
命令:yum -y install openssh-clients
生成ssh密匙:
ssh-keygen -t rsa
进入根目录:命令: cd~;
cd .ssh
ls 查看文件
将文件 id_rsa.hub 考入: 命令:cat id_rsa.pub >>authorized_keys
将 datanode节点上的 id_rsa.hub 考入 命令
ssh datanode1 cat .ssh/id_rsa.pub >>authorized_keys
将文件发送到datanode节点:
[root@namenode ~]# scp authorized_keys datanode1:~/.ssh
测试 ssh datanode1 免密登陆到datanode1主机
至此 前期配置完成
5 hadoop配置
修改hadoop配置文件
yarn-site.xml
mapred-site.xml
slaves hdfs-site.xml
yarn-env.sh
hadoop-env.sh
详见《hadoop配置手册》
配置环境测试:
cd /home/hadoop-2.5.2/sbin
输入 sh start-all.sh
等待启动
启动完毕后
测试:
输入 jps
namenode 节点 显示:
8722 ResourceManager
11446 Jps
9371 DataNode
8812 NodeManager
9283 NameNode
datanode1节点 输入 jps
显示:
5694 Jps
2867 NodeManager
2782 DataNode
则基本配置成功
测试计算 pi
cd /home/hadoop-2.5.2/share/hadoop/mapreduce
命令 [root@namenode mapreduce]# hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 2 5
回车
标签:中继 zed ssh 网络 linu example .lib lin chkconfig
原文地址:http://www.cnblogs.com/tsxylhs/p/7158592.html