从性能优先的角度简单对bulk的设计作了一些补充，并对文档查询，写操作的原理过程，一致性级别，quorum的计算做了一些简单讲解
分类：
其他好文 时间：
2020-04-19 09:17:22
阅读次数：
64
单节点NameNode存在问题： NameNode宕机，metadata数据消失； 单节点出现故障，如何进行故障转移？ 如果增加一个NameNode节点，会出现脑裂问题（一个集群有多个管理者），如何解决？ ZK搭建高可用（HA High Aliavble）HDFS集群 原理 QJM（Quorum J ...
分类：
其他好文 时间：
2020-04-17 20:34:00
阅读次数：
99
[root@bs-k8s-ceph ~]# ceph -s cluster: id: 11880418-1a9a-4b55-a353-4b141e2199d8 health: HEALTH_OK services: mon: 3 daemons, quorum bs-hk-hk01,bs-hk-hk ...
分类：
Web程序 时间：
2020-02-20 17:26:42
阅读次数：
99
1. 基本原理 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上 ...
分类：
其他好文 时间：
2019-12-12 12:57:17
阅读次数：
87
1 Design document 1.1 System overview We implemented a distributed file system using a quorum based protocol. The basic idea of this protocol is that ...
分类：
其他好文 时间：
2019-08-10 17:25:06
阅读次数：
70
Consistency此命令显示当前的一致性级别，或设置新的一致性级别。Consistency可以理解读和写操作的ConsistencyLevel写操作的consistencylevel指定了写操作在通知客户端请求成功之前，必须确保已经成功完成写操作的replica的数量。QUORUM级别QUORUM级别确保数据写到指定quorum数量的节点。一个quorum的值由下面的公式四舍五入计算而得：(s
分类：
其他好文 时间：
2019-06-29 15:03:21
阅读次数：
164
1.hbase整合Mapreduce 在离线任务场景中，MapReduce访问HBASE数据，加快分析速度和扩展分析能力。从hbase中读取数据（result）publiccla***eadHBaseDataMR{privatestaticfinalStringZK_KEY="hbase.zookeeper.quorum";privatestaticfinalStringZK
分类：
其他好文 时间：
2019-01-15 19:33:58
阅读次数：
224
Hive版本是2.1.1，Hbase版本是1.4.3 1. Hbase表映射到Hive表中1.1 Hive的配置文件修改 1.1.1 修改hive-site.xml配置文件，添加配置属性 <property> <name>hbase.zookeeper.quorum</name> <value>se ...
分类：
其他好文 时间：
2019-01-14 14:29:18
阅读次数：
222
分布式系统中，一般保存多个数据副本，明显可以提高系统可靠性。并且存储这些数据副本的节点，不仅做容灾用，也可以提供服务，作负载均衡。 这里就涉及到一个数据一致性的问题，也就是各副本间要进行同步，来保持最新的数据。在一些一致性需求不辣么强的场景，比如用户获取某个文章的点赞数，读到未及时同步的脏数据也就无 ...
分类：
编程语言 时间：
2018-10-28 00:06:50
阅读次数：
195
HA:高可用 1.Quorum Journal Manager:群体日志管理 个数2n+1个，保证节点宕机次数为(n-1)/2;一般情况下，JNS在slave节点开启； 2.HA的namenode个数:一定是两个：nn1和nn2; 3.搭建HA步骤： 0.创建软连接：指向hadoop_cluster ...
分类：
其他好文 时间：
2018-07-28 15:15:05
阅读次数：
181
