标签:www. log filename shuffle yar rip mapred elastics 脑裂
/etc/profile
#在文件最后添加 export JAVA_HOME=/home/software/jdk1.7 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile
hadoop-env.sh
export JAVA_HOME=/home/software/jdk1.7
core-site.xml
<configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://locahost:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储路径 --> <property> <name>hadoop.tmp.dir</name> <value>/cloud/hadoop/tmp</value> </property> </configuration>
hdfs-site.xml
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
mapred-site.xml
<configuration> <!-- 通知框架MR使用YARN --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-site.xml
<configuration> <!-- reducer取数据的方式是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> </configuration>
启动命令:
source /etc/profile
start-all.sh
或者: 先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh
监控端口:
hdfs管理界面:http://localhost:50070 MR的管理界面:http://localhost:8088
tickTime=2000 //客户端与服务器的心跳时间 dataDir=/usr/myapp/zookeeper-3.4.5/data dataLogDir=/usr/myapp/zookeeper-3.4.5/logs clientPort=2181 initLimit=5 syncLimit=2 server.1=dev-hadoop4:2888:3888 server.2=dev-hadoop5:2888:3888 server.3=dev-hadoop6:2888:3888
dataDir创建myid文件,并填写1,2或3依次类推。
进入bin目录,启动、停止、重启分和查看当前节点状态(包括集群中是何角色)别执行:
./zkServer.sh start ./zkServer.sh stop ./zkServer.sh restart
./zkServer.sh status
1-修改配置文件
hbase-site.xml
<configuration> ... <property> <name>hbase.rootdir</name> <value>hdfs://namenode.example.org:9000/hbase</value> <description>The directory shared by RegionServers. </description> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> <description>The mode the cluster will be in. Possible values are false: standalone and pseudo-distributed setups with managed Zookeeper true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh) </description> </property> ... </configuration>
regionservers:
dev-hadoop4 dev-hadoop5 dev-hadoop6
hbase-env.sh
如果你希望Hadoop集群上做HDFS 客户端配置 ,例如你的HDFS客户端的配置和服务端的不一样。按照如下的方法配置,HBase就能看到你的配置信息:
在hbase-env.sh
里将HBASE_CLASSPATH
环境变量加上HADOOP_CONF_DIR
。
在${HBASE_HOME}/conf
下面加一个 hdfs-site.xml
(或者 hadoop-site.xml
) ,最好是软连接
如果你的HDFS客户端的配置不多的话,你可以把这些加到 hbase-site.xml
上面.
启动命令:
启动HBase集群: bin/start-hbase.sh 单独启动一个HMaster进程: bin/hbase-daemon.sh start master 单独停止一个HMaster进程: bin/hbase-daemon.sh stop master 单独启动一个HRegionServer进程: bin/hbase-daemon.sh start regionserver 单独停止一个HRegionServer进程: bin/hbase-daemon.sh stop regionserver
默认监控端口:60010或16010
elasticsearch.yml
cluster.name: elasticsearch_production //集群名字 node.name: elasticsearch_005_data //节点名字 path.data: /path/to/data1,/path/to/data2 //数据存放位置 path.logs: /path/to/logs //插件存放位置 path.plugins: /path/to/plugins //日志存放位置 discovery.zen.minimum_master_nodes: 2 //最小主节点数,可防止脑裂,默认为集群机器数/2 + 1 gateway.recover_after_nodes: 8 //集群恢复方面的配置,包括下面两个参数 gateway.expected_nodes: 10 gateway.recover_after_time: 5m discovery.zen.ping.unicast.hosts: ["host1", "host2:port"] //最好使用单播代替组播
启动命令:
./bin/elasticsearch
监控端口号:9200
总结:启动顺序(不是严格的启动顺序),hadoop -> zookeeper -> hbase -> elasticSearch
参考文献:https://www.cnblogs.com/gyouxu/p/4183417.html
hadoop,zookeeper,hbase安装需要修改的配置
标签:www. log filename shuffle yar rip mapred elastics 脑裂
原文地址:https://www.cnblogs.com/parent-absent-son/p/10151676.html