码迷,mamicode.com
首页 > 其他好文 > 详细

大数据入门第十七天——storm上游数据源 之kafka详解(一)入门

时间:2018-03-10 11:45:32      阅读:223      评论:0      收藏:0      [点我收藏+]

标签:高通   font   zookeeper   功能   lis   pos   开源   topic   nbsp   

一、概述

  1.kafka是什么

    根据标题可以有个概念:kafka是storm的上游数据源之一,也是一对经典的组合,就像郭德纲和于谦

    根据官网:http://kafka.apache.org/intro 的解释呢,是这样的:

 

  Apache Kafka® is a distributed streaming platform

  ApacheKafka®是一个分布式流媒体平台

  l Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

  l Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

  l Kafka是一个分布式消息队列:生产者、消费者的功能。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现

  l Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。

  l 无论是kafka集群,还是producer和consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用

 2.主要feature

   1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列,这也是kafka归类为消息队列框架的原因

  2:It lets you store streams of records in a fault-tolerant way.以容错的方式记录消息流,kafka以文件的方式来存储消息流

  3:It lets you process streams of records as they occur.可以再消息发布的时候进行处理

  3.使用场景

    在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。

    经典组合是:kafka+storm+redis

 

大数据入门第十七天——storm上游数据源 之kafka详解(一)入门

标签:高通   font   zookeeper   功能   lis   pos   开源   topic   nbsp   

原文地址:https://www.cnblogs.com/jiangbei/p/8537625.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!