kafka是很流行的一款消息队列和流处理组件，其生态非常丰富，今天只简单介绍一下它的安装。 一. Zookeeper安装 kafka高度依赖于Zookeeper做集群协调和分布式存储，当然kafka社区正在逐渐去掉对Zookeeper的依赖，不过至今你还是需要Zookeeper。 下载清华镜像：ht ...
2019/2/19星期二zookeeper基本概念和功能zookeeper是hadoop生态圈里面重要的底层的框架，主要为上层的框架提供分布式协调服务的。hadoop-spof问题及HA解决思路引入集群协调服务框架的必要性zookeeper简介ZooKeeper是一个分布式应用程序协调服务，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。目前zookeeper被广泛应用于hadoop生
分类：
其他好文 时间：
2019-02-19 16:25:50
阅读次数：
296
2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类：
其他好文 时间：
2019-02-17 09:17:32
阅读次数：
201
背景
需要实现一个分布式监控程序，Agent把监控消息发送到Kafka,由消费者进程使用High Level API从Kafka获取消息
需求
随着Agent数量的增加，每秒产生的消息数量也在增加，考虑到High Level的API使消费者进程与分区的固定关系，所以需要使用Zookeeper来维护一个消费者的集群，使消费者可以根据Kafka分区的数量以及消费者集群的个数，动态的分配每...
分类：
系统相关 时间：
2015-05-24 11:36:47
阅读次数：
722
