码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop,zookeeper,hbase安装需要修改的配置

时间:2018-12-20 20:35:54      阅读:250      评论:0      收藏:0      [点我收藏+]

标签:www.   log   filename   shuffle   yar   rip   mapred   elastics   脑裂   

一:hadoop安装

/etc/profile

#在文件最后添加
export JAVA_HOME=/home/software/jdk1.7
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile

hadoop-env.sh

export JAVA_HOME=/home/software/jdk1.7

core-site.xml

<configuration>
    <!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://locahost:9000</value>
</property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/cloud/hadoop/tmp</value>
</property>
</configuration>

hdfs-site.xml

<!-- 设置hdfs副本数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

mapred-site.xml

<configuration>
<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

yarn-site.xml

<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
</property>
</configuration>

启动命令:

source /etc/profile
start-all.sh
或者: 先启动HDFS sbin
/start-dfs.sh 再启动YARN sbin/start-yarn.sh

监控端口:

hdfs管理界面:http://localhost:50070  
MR的管理界面:http://localhost:8088

 

二:zookeeper安装

conf/zoo.cfg

tickTime=2000   //客户端与服务器的心跳时间
dataDir=/usr/myapp/zookeeper-3.4.5/data
dataLogDir=/usr/myapp/zookeeper-3.4.5/logs
clientPort=2181
initLimit=5
syncLimit=2
server.1=dev-hadoop4:2888:3888
server.2=dev-hadoop5:2888:3888
server.3=dev-hadoop6:2888:3888
dataDir创建myid文件,并填写1,2或3依次类推。

启动和停止

进入bin目录,启动、停止、重启分和查看当前节点状态(包括集群中是何角色)别执行:

./zkServer.sh start
./zkServer.sh stop
./zkServer.sh restart
./zkServer.sh status

三:hbase安装

1-修改配置文件

hbase-site.xml

<configuration>
  ...
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://namenode.example.org:9000/hbase</value>
    <description>The directory shared by RegionServers.
    </description>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    <description>The mode the cluster will be in. Possible values are
      false: standalone and pseudo-distributed setups with managed Zookeeper
      true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
    </description>
  </property>
  ...
</configuration>

regionservers:

dev-hadoop4
dev-hadoop5
dev-hadoop6

hbase-env.sh

如果你希望Hadoop集群上做HDFS 客户端配置 ,例如你的HDFS客户端的配置和服务端的不一样。按照如下的方法配置,HBase就能看到你的配置信息:

  • hbase-env.sh里将HBASE_CLASSPATH环境变量加上HADOOP_CONF_DIR

  • ${HBASE_HOME}/conf下面加一个 hdfs-site.xml (或者 hadoop-site.xml) ,最好是软连接

  • 如果你的HDFS客户端的配置不多的话,你可以把这些加到 hbase-site.xml上面.

启动命令:

启动HBase集群:
bin/start-hbase.sh
单独启动一个HMaster进程:
bin/hbase-daemon.sh start master
单独停止一个HMaster进程:
bin/hbase-daemon.sh stop master
单独启动一个HRegionServer进程:
bin/hbase-daemon.sh start regionserver
单独停止一个HRegionServer进程:
bin/hbase-daemon.sh stop regionserver

默认监控端口:60010或16010

 

四:ElasticSearch的安装和配置

elasticsearch.yml

cluster.name: elasticsearch_production  //集群名字
node.name: elasticsearch_005_data    //节点名字
path.data: /path/to/data1,/path/to/data2   //数据存放位置
path.logs: /path/to/logs               //插件存放位置
path.plugins: /path/to/plugins      //日志存放位置
discovery.zen.minimum_master_nodes: 2   //最小主节点数,可防止脑裂,默认为集群机器数/2 + 1
gateway.recover_after_nodes: 8  //集群恢复方面的配置,包括下面两个参数
gateway.expected_nodes: 10
gateway.recover_after_time: 5m
discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]   //最好使用单播代替组播

启动命令:

./bin/elasticsearch

监控端口号:9200

 

总结:启动顺序(不是严格的启动顺序),hadoop ->  zookeeper  ->  hbase  -> elasticSearch

 

参考文献:https://www.cnblogs.com/gyouxu/p/4183417.html

hadoop,zookeeper,hbase安装需要修改的配置

标签:www.   log   filename   shuffle   yar   rip   mapred   elastics   脑裂   

原文地址:https://www.cnblogs.com/parent-absent-son/p/10151676.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!