常见的HBase新手问题: 什么样的数据适合用HBase来存储? 既然HBase也是一个数据库，能否用它将现有系统中昂贵的Oracle替换掉? 存放于HBase中的数据记录，为何不直接存放于HDFS之上? 能否直接使用HBase来存储文件数据? Region(HBase中的数据分片)迁移后，数据是否 ...
分类：
其他好文 时间：
2018-04-27 12:22:19
阅读次数：
247
Shell使用 常用命令 ls、ls2 列出zk中的节点 create [-s] [-e] path data acl 创建节点，zk的节点分为两种：临时节点（随着zk session消亡而自动删除）、持久节点（一直存在） delete 删除命令 rmr path 递归删除一个znode get 获 ...
分类：
其他好文 时间：
2018-04-26 23:35:31
阅读次数：
184
品味ZooKeeper之Watcher机制 本文思维导图如下： 前言 Watcher机制是zookeeper最重要三大特性 数据节点Znode+Watcher机制+ACL权限控制 中的其中一个，它是zk很多应用场景的一个前提，比如集群管理、集群配置、发布/订阅。 Watcher机制涉及到客户端与服务 ...
分类：
其他好文 时间：
2018-03-13 00:54:48
阅读次数：
970
一、问题背景 安装kylin后使用命令 $ kylin.sh start 后出现Failed to find metadata store by url: kylin_metadata@hbase的错误。 二、解决办法 起初shell里打印的错误信息我没有仔细看，以为单纯是kylin的问题。后来我仔 ...
分类：
Web程序 时间：
2018-03-06 23:18:51
阅读次数：
2140
有用过Zookeeper的都知道zoo.cfg配置文件中有dataDir配置项用于存储数据，不过可能有些人不太清楚这个目录具体存储的是那些数据，默认情况下这个目录是用于存储Log（事务日志）与Snapshot（快照）数据，但是Zookeeper还提供了一个用于Log存储目录的配置项dataLogDi ...
分类：
其他好文 时间：
2018-02-23 19:02:20
阅读次数：
262
topology在服务端提交过程中，会经过一系列的验证和初始化：TP结构校验、创建本地文件夹并拷贝序列化文件jar包、生成znode用于存放TP和task等信息，最后一步才进行任务分配。例如以下图： 提交主函数位于ServiceHandler.java中private void makeAssign ...
分类：
Web程序 时间：
2018-02-10 15:55:26
阅读次数：
237
问题描述如下： 出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的.可能还有其他方法.我的集群是这种情况. 注意:本博文目的是为了记录和复习,不建议作为教程. 感谢http://www.cnbl ...
分类：
其他好文 时间：
2018-02-03 15:59:10
阅读次数：
517
zookeeper是什么 zookeeper是一个分布式应用协调系统，它主要提供了命名服务、状态同步服务、集群管理、分布式应用配置项的管理等功能。 简单的说，zookeeper=文件系统+通知机制。 zookeeper维护着一个类似文件系统的数据结构。每个目录项被称为znode，和文件系统一样，我们 ...
分类：
其他好文 时间：
2018-01-14 13:53:05
阅读次数：
221
理解Zookeeper的一种方法是将他视为一个提供高可用性的文件系统。它没有文件和目录，但是有一个统一概念的节点，叫做znode，作为数据以及其他znode的容器。znode来自于一个层次级的命名空间。传统的建立成员列表的方法是以小组的名称创建一个父znode，同时子znode使用的是组成员的名称。 ...
分类：
其他好文 时间：
2017-12-23 17:13:40
阅读次数：
201
说明：本文为读《从Paxos到Zookeeper 分布式一致性原理与实践》读书笔记 shell操作 Java客户端 原始API pom文件： Java代码： 使用ZkClient客户端 pom.xml 创建节点： 相比原始API，ZkClient创建Znode的特性： + 支持同步创建。 + 更丰富 ...
分类：
其他好文 时间：
2017-12-21 01:52:07
阅读次数：
270
