1.注册中心Zookeeper安装 (1)搭建要求 zk服务器集群规模不小于3个节点要求各服务器之间系统时间要保持一致。 (2)安装配置ZK 官网下载：https://zookeeper.apache.org/ 进行解压：tar -zxvf zookeeper-3.4.5.tar.gz 重命名：mv ...
分类：
其他好文 时间：
2017-05-23 16:33:20
阅读次数：
343
前言当集群规模在日益变大的时候，往往有的时候出现机器的老化，而这些“老化”的机器又会表现出一些奇怪的特征：“磁盘读写慢”、“网络数据传输慢”等。对于前者，曾经笔者写过一篇Hadoop节点”慢磁盘”监控...
分类：
其他好文 时间：
2017-01-31 21:01:51
阅读次数：
1288
Kafka 高可用设计 2016-02-28 杜亦舒 Kafka在早期版本中，并不提供高可用机制，一旦某个Broker宕机，其上所有Partition都无法继续提供服务，甚至发生数据丢失对于分布式系统，当集群规模上升到一定程度后，宕机的可能性大大提高，对高可用性就有了非常高要求Kafka在0.8版本 ...
分类：
其他好文 时间：
2017-01-08 03:59:31
阅读次数：
282
以前在Hadoop 1.0中JobTracker主要完成两项功能：资源的管理和作业控制。在集群规模过大的场景下，JobTracker 存在以下不足： 1）JobTracker 单点故障。 2）JobTracker 承受的访问压力大，影响系统的扩展性。 3）不支持MapReduce之外的计算框架，比如 ...
分类：
其他好文 时间：
2016-12-13 06:16:34
阅读次数：
151
Leader选举 学习leader选举算法，主要是从选举概述，算法分析与源码分析（后续章节写）三个方面进行。 Leader选举概述 服务器启动时期的Leader选举 选举的隐式条件便是ZooKeeper的集群规模至少是2台机器，以3台机器组成的服务器集群为例。在服务器集群初始化阶段，当有一台服务器（ ...
分类：
编程语言 时间：
2016-08-31 02:06:15
阅读次数：
555
前言前段时间，imppala资源告警，各种任务失败，查询堵塞，因此公司集群升级。这次迁移的确必须，因为当时的集群规模很小，资源太紧张了。迁移集群后，今天集群再次出问题，导致一个下午没什么事都没干，查了一下午的错误。事件发展1.阶段一：下午2点17分数据组反映集群崩溃，HUE界面不能登录，登录之后刷不出来表，当然也不能提交数据。查看各种log日志、任务信息，发现事件发生前后有两个现象：
有一个admi...
分类：
其他好文 时间：
2016-08-15 19:13:58
阅读次数：
1093
一、zookeeper
Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等
Zookeeper服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。ZooKeeper的搭建是为了后面HBase的使用。
二、集群模式搭建
我的集群是Hadoop...
分类：
其他好文 时间：
2016-05-13 03:14:19
阅读次数：
134
摘要
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failo...
分类：
其他好文 时间：
2016-05-12 13:19:28
阅读次数：
232
Hadoop的集群和优化 Hadoop集群规模小到几个节点就可以组件一个集群，大到由几千个节点组成的超大集群。 在安装Hadoop集群时，把要安装的软件解压到集群内的所有机器上，软件的安装目录也要一致。集群里所有的HADOOP_HOME目录代表安装的根路径，集群中机器要求HADOOP_HOME路径一... ...
分类：
其他好文 时间：
2016-05-11 11:09:05
阅读次数：
102
版权全部，未经华为书面许可，请勿转载或转发。 2.3.2弹性伸缩弹性伸缩要求以同样架构，支撑从最少几个计算与存储节点。到最大10万甚至是100万级的计算与存储节点集群规模，且保证数据中心容量扩展过程中的业务连续性及业务服务不中断，或中断时延最短。这里的弹性伸缩扩展能力应该体如今： l管理节点弹性.....
分类：
其他好文 时间：
2016-01-15 23:03:57
阅读次数：
126
