hadoop伪分布式平台搭建

标签：hadoop   oop   nts   gen   登陆   site   jar   classpath   rsa   

1. 安装jdk1.7   

JAVA_HOME=/home/hadoop/app/jdk1.7.0  

vi /etc/profile.d

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

source /etc/profile.d 

2.ssh免密码登陆

service iptables status

chkconfig iptables off

yum install -y openssh-clients

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys

chmod 700 .ssh

chmod 600 .ssh/*

3.chown -R hadoop:hadoop hadoop /data

修改core-site.xml  hdfs-site.xml mapred-site.xml yarn-site.xml slaves

HADOOP_HOME=/usr/java/hadoop

PATH=$HADOOP_HOME/bin:$PATH

export HADOOP_HOME PATH

4.

bin/hadoop namenode -format

sbin/start-all.sh

jps

hadoop fs -ls /

hadoop fs -mkdir /test

hadoop fs -put 1.txt /test/1.txt

如果hadoop集群作业运行过程中出现问题怎么办？

可以查看作业运行日志，而且是userlogs目录中最大编号的文件目录。

hadoop伪分布式平台搭建

标签：hadoop   oop   nts   gen   登陆   site   jar   classpath   rsa   

原文地址：http://www.cnblogs.com/lidam/p/7011395.html