zk不是使用maven管理的。将zk的src下的代码导入eclipse,lib下的jar包导入工程。QuorumPeerMain类的main方法是入口,启动了zk的server,参数是conf文件的路径,例如:org.apache.zookeeper.server.quorum.QuorumPeer...
分类:
其他好文 时间:
2014-08-26 19:21:56
阅读次数:
152
hbase版本:0.98.5hadoop版本:1.2.1使用自带的zk本文的内容是在集群中创建java项目调用api来操作hbase,主要涉及对hbase的创建表格,删除表格,插入数据,删除数据,查询一条数据,查询所有数据等操作。具体流程如下:1.创建项目2.获取jar包到项目的lib目录下(这边试...
分类:
编程语言 时间:
2014-08-26 01:48:45
阅读次数:
373
看了你的问题, 我还特意的查看了ZooKeeper的启动脚本代码。ZooKeeper启动脚本没有加任何参数,也就是使用jvm默认的。如果想要加大ZooKeeper的JVM使用内存。可以在更改{ZK_HOME}/bin/zkServer.sh,大约在109-110行。?12nohup $JAVA "-...
分类:
其他好文 时间:
2014-08-24 10:13:02
阅读次数:
249
1、如果你装了带有zookeeper的Hbase版本,先把hbase-env.sh export HBASE_MANAGES_ZK=false 设置为false 见下图
2、下载安装zookeeper(地址:http://www.apache.org/dyn/closer.cgi/zookeeper/)
3、解压包到指定的目录(例如:/usr/zookeeper)tar X...
分类:
其他好文 时间:
2014-08-22 16:20:59
阅读次数:
250
Curator提供了对zookeeper客户端的封装,并监控连接状态和会话session,特别是会话session过期后,curator能够重新连接zookeeper,并且创建一个新的session。对于zk的使用者来说,session的概念至关重要,如果想了解更多session的说明,请访问:ht...
分类:
其他好文 时间:
2014-08-22 15:49:49
阅读次数:
298
1、将zookeeper-3.4.5.tar.gz这个文件上传到huanghe的/usr/local目录下 2、进入local目录下,执行解压 tar -zxvf zookeeper-3.4.5.tar.gz 3、将解压后生成的zookeeper-3.4.5文件文件夹重命名为zk mv zookee...
分类:
其他好文 时间:
2014-08-18 01:29:53
阅读次数:
255
目的
本指南提供一个HDFS HA特性的综述,描述了如何使用QJM配置和管理一个HA HDFS集群。
本文档假设读者对于HDFS中的通用组件和节点类型有一个大体的认识。请参考HDFS架构指南获取更多信息。
注意:使用QJM或者传统的共享存储
本文档讨论了如何用QJM配置和使用HDFS HA在Active NameNode和Standby NameNode共享edit日志文件...
分类:
其他好文 时间:
2014-08-12 17:18:04
阅读次数:
327
最近我在做流式实时分布式计算系统的架构设计,而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够。因此,我将最近一直在做的系统架构的思路整理出来,形成此文。为什么要参考Storm和Spark,因为没有参照效果可能不会太好,尤其是对于Storm和Spark由了解的同学来说,可能通过对比,更能体会到每个具体实现背后的意义。
本文对流式系统出现的背景,特点,数据HA,服务HA,节点间和计算逻辑间的消息传递,存储模型,...
分类:
其他好文 时间:
2014-08-02 18:25:23
阅读次数:
489
题目链接:点击打开链接
思路:
我们首先假设这个图都是全0的
用n个点代表行,m个点代表列
用源点向行连一个值x 表示每行1的个数,向列连一个y表示每列y个1
则若行i和列j之间流过一个流量就表示 (i,j) 点填了1
那么若原来图中(i,j)点为0 则花费就是1
若原图中(i,j)点是1,则花费是-1
如此枚举x跑个费用流就好了
==居然把我多年的白书费用流坑掉了。。。
zk...
分类:
其他好文 时间:
2014-08-01 23:15:42
阅读次数:
313
阅读背景:您需要对Zk,Kafka有基础的了解 ? ? ?本章主题:详尽的梳理ZkCoordinator的过程 package?com.mixbox.storm.kafka;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory;
import?...
分类:
其他好文 时间:
2014-07-23 14:00:16
阅读次数:
343