标签:
为了测试方便记录下hadoop伪分布式部署:
包下载地址:http://archive.cloudera.com/cdh5/cdh/5/
我选用的是cdh5.4.5版本
etc/profile 配置文件
export JAVA_HOME=/home/jdk1.7.0_79 export JRE_HOME=/home/jdk1.7.0_79/jre export HADOOP_HOME=/home/hadoop-2.6.0-cdh5.4.5 export HBASE_HOME=/home/hbase-1.0.0-cdh5.4.5 #export HADOOP_CONF_DIR=/home/hadoop-2.6.0-cdh5.4.5/etc/hadoop export CLASSPATH=./:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib export SCALA_HOME=/home/scala-2.11.6 #export SPARK_HOME=/home/hadoop/CDH5/spark-1.0.2-bin-hadoop2 export SPARK_HOME=/home/spark-1.6.0-bin-hadoop2.6 export SBT_HOME=/home/sbt export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$SCALA_HOME/bin:$SBT_HOME/bin:$HBASE_HOME/bin
Hadoop配置:
1、core-site.xml
<property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://node11:9000</value> </property>
2、hdfs-site.xml
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/tmp/dfs/data</value> </property>
3、mapred-site.xml
<name>mapreduce.framework.name</name> <value>yarn</value> </property>
4、yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
5、hadoop-env.sh 第25行
25 export JAVA_HOME=/home/jdk1.7.0_79
格式化:
如果有五个进程表明安装成功:
第二: HBase配置
1、hbase-site.xml
<property> <name>hbase.rootdir</name> <value>hdfs://node11:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>node11</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hbase.regionserver.wal.codec</name> <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value> </property>
2、在regoinServer 配置自己的主机名
node11
3、hbase-env.sh
在29行配置jdk:
export JAVA_HOME=/home/jdk1.7.0_79
4、启动start-hbase.sh
如果有如下3个进程表明安装成功
标签:
原文地址:http://www.cnblogs.com/zhanggl/p/5161142.html