最近在研究Zookeeper Storm Kafka, 顺便在本地搭了一套集群, 遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如下:1. 修改log4j.properties, 这个大家都应该会改, ...
分类:
其他好文 时间:
2014-09-04 23:31:00
阅读次数:
607
配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mode Storm集...
分类:
其他好文 时间:
2014-09-03 17:00:37
阅读次数:
193
hbase-env.sh中添加了一句:export JAVA_HOME=/usr/java/jdk1.7.0_651、仅设置了JDK地址之后,HBase的启动日志:(注意标红的信息,系统信息,JDK信息,hbase信息(默认存储位置显示),zookeeper信息等) 1 2014年 09月 03日....
分类:
其他好文 时间:
2014-09-03 12:59:16
阅读次数:
405
Hadoop安装方案一、概述本文档适用于hadoop安装,采用1主+1从的方案,两台设备,可自由扩展多从节点。包含hadoop+habase+zookeeper,可作为通用hadoop框架安装的参考。二、主机规划主节点(Namenode):10.11.20.108 hadoop+habase从节点(...
分类:
其他好文 时间:
2014-09-02 11:56:54
阅读次数:
370
HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtab...
分类:
其他好文 时间:
2014-09-02 01:34:43
阅读次数:
342
本文转自:http://blog.csdn.net/xgbjmxn/article/details/6200738ZooKeeper是近期比较热门的一个类Paxos实现。也是一个逐渐得到广泛应用的开源的分布式锁服务实现。被认为是Chubby的开源版,虽然具体实现有很多差异。ZooKeeper概要的介...
分类:
其他好文 时间:
2014-09-01 17:31:33
阅读次数:
157
storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。 backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。clojure中的p...
分类:
其他好文 时间:
2014-09-01 09:12:42
阅读次数:
188
第一篇文章还有要修改的地方,现在我的集群已经扩展到5台(虚拟机)有些配置还要改,这一篇记录一下Hadoop HA 和zookeeper的配置,方便自己以后看。 新的HDFS中的NameNode不再是只有一个了,可以有多个(目前只支持2个)。每一个都有相同的职能。 在HDFS(HA...
分类:
其他好文 时间:
2014-09-01 02:43:42
阅读次数:
521
storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。clojure中的pr...
分类:
其他好文 时间:
2014-08-31 22:51:12
阅读次数:
342
storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。clojure中的pr...
分类:
其他好文 时间:
2014-08-31 15:47:41
阅读次数:
184