本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/04/24/KafkaColumn2 摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继 ...
分类：
其他好文 时间：
2016-05-02 21:24:40
阅读次数：
266
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析 背景介绍 Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据 ...
分类：
其他好文 时间：
2016-05-02 20:05:14
阅读次数：
382
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/03/10/KafkaColumn1 摘要 Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率 而被广泛使用，现已与Cloudera Hadoop，Apache Stor ...
分类：
其他好文 时间：
2016-05-02 20:05:04
阅读次数：
348
一、Kafka概述 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志 ...
分类：
其他好文 时间：
2016-05-02 16:51:21
阅读次数：
254
日志收集之kafka http://www.jianshu.com/p/f78b773ddde5 一、介绍 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能 高吞吐率。即使在非 ...
分类：
其他好文 时间：
2016-04-30 01:04:45
阅读次数：
387
Zookeeper算是现在互联网公司中软件开发中最常接触的“软件”之一了。它的设计目标就是将那些复杂且容易出错的分布式一致性服务封装起来，然后构成一个高效可靠的原语集，然后提供一系列简单易用的接口给用户。其实比如一些RPC框架、Kafka等消息队列机制，内部都是依赖了Zookeeper来进行分布式调 ...
分类：
其他好文 时间：
2016-04-30 01:04:30
阅读次数：
192
apache kafka总结本文将从多个方面对apache kafka进行总结.简介apache kafka是一个分布式消息队列.
这个消息队列在很多场景中被应用, 这一点在kafka apache项目的网站中就有介绍.
相对于其他消息队列而言(比如rabbitMQ等), 在大量数据传输方面性能较好.
当然也有它的不足, 暂时没有足够的中文文档是一方面, 另一方面, kafka在用户制定方面也...
分类：
Web程序 时间：
2016-04-29 19:45:20
阅读次数：
224
本课分2部分讲解：
第一部分，讲解Kafka的概念、架构和用例场景；
第二部分，讲解Kafka的安装和实战。
由于时间关系，今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成Spark Streaming和Kafka。
一、Kafka的概念、架构和用例场景
http://kafka.apache.org/documentation...
分类：
其他好文 时间：
2016-04-29 17:51:55
阅读次数：
250
一：简述
本人之前搭建elk+redis架构收集日志，出现瓶颈，现使用新架构（els+kafka+rsyslog+hadoop-hdfs+zookeeper），解决方案。
二：搭建过程
A.rsyslogd服务
通过对 rsyslog官方文档 查看,得知 rsyslog对 kafka的支持是 v8.7.0版本后才提供的支持.通过 ChangeLog 也可以看出 V...
分类：
其他好文 时间：
2016-04-29 16:11:41
阅读次数：
1097
培训大数据架构开发、挖掘分析！从零基础到高级，一对一培训！[技术QQ：2937765541]---------------------------------------------------------------------------------------------------------------课程体系：获取视频资料和培训解答技术支持地址课程展示(大数据技术很广..
分类：
Web程序 时间：
2016-04-28 12:37:46
阅读次数：
275
