FusionInsight大数据开发---Kafka应用开发

标签：min   调用   配置参数   开发   容错   producer   时间   分布式   kafka集群   

Kafka应用开发

1. 了解Kafka应用开发适用场景
2. 熟悉Kafka应用开发流程
3. 熟悉并使用Kafka常用API
4. 进行Kafka应用开发

Kafka的定义
Kafka是一个高吞吐、分布式、基于发布订阅的消息系统
Kafka有如下几个特点：

1. 高吞吐量
2. 消息持久化到磁盘
3. 分布式系统易扩展
4. 容错性好

Kafka的适用场景

1. 适用于离线和在线的消息消费
2. 已对接组件
3. Streaming、Spark、Flume

使用Kafka的好处

• 解耦--使得消息生产、消费系统能够独立变更
• 可靠--有效解决单点故障引发系统不可用问题
• 易扩展--生产、消费系统扩展简单
• 可恢复--消息缓存下来，支持故障从故障点读取
• 异步通信--生产系统无需关心消费系统的消费时间

配置及开发准备--配置keytab文件到样例工程

1. 配置Keytab到工程
2. 安全认证
3. Topic订阅
4. 消费获取
5. 消费处理

Kafka常用接口

• Kafka集群安全访问端口默认为21007，非安全访问端口默认为21005

Kafka Producer接口

1.  向管理员申请目标Topic的生产者权限
2.  根据业务需求，配置发送相关配置参数
3.  调用新Producer API接口发送数据

Kafka Consumer接口

1. 向管理员申请目标Topic的消费者权限
2. 根据业务需求，配置消费者相关配置参数
3. 调用新Consumer API接口进行消息消费

FusionInsight大数据开发---Kafka应用开发

标签：min   调用   配置参数   开发   容错   producer   时间   分布式   kafka集群   

原文地址：https://www.cnblogs.com/cainiao-chuanqi/p/11251625.html