1. Kafka 总体架构 基于 Kafka-ZooKeeper 的分布式消息队列系统总体架构如下： 如上图所示，一个典型的 Kafka 体系架构包括若干 Producer（消息生产者），若干 broker（作为 Kafka 节点的服务器），若干 Consumer（Group），以及一个 ZooKe ...
分类：
其他好文 时间：
2019-06-28 14:49:18
阅读次数：
106
1.Broker.id broker.id=2 一般采用ip的后三位来用来标识是哪台kafka的broker，利于定位和排错 2.Prot tcp用来监控的kafka端口 listeners=PLAINTEXT://192.168.43.17:9092 3.Zookeeper.connect #ka... ...
分类：
其他好文 时间：
2019-06-27 00:28:50
阅读次数：
423
都说Kafka的吞吐量很大，但是我一直不直到Kafka为何有如此大的吞吐量。最近在看Kafka权威指南，陆陆续续得到了如下结论： 1、分区：Kafka支持分区，这样就支持多个生产者和多个消费者同时请求，每个分区在不同的物理节点上，提高了整个broker集群的吞吐； 2、不支持针对每一条记录做持久化（ ...
分类：
其他好文 时间：
2019-06-26 01:09:59
阅读次数：
113
1.启动namesrv命令nohup sh bin/mqnamesrv >/dev/null 2>&1 & 2.启动broker命令nohup sh bin/mqbroker -n localhost:9876 >/dev/null 2>&1 & nohup sh bin/mqbroker -n l ...
分类：
其他好文 时间：
2019-06-24 21:05:28
阅读次数：
118
ps：具体Kafka Flumn SparkStreaming的使用 参考前几篇博客 (1) 在slave机器上配置broker 1) 点击CDH上的kafka进入kafka功能界面，切换到实例页签，点击下方的“添加角色实例”进入添加角色实例界面。 2) 进入添加角色界面，点击Kafka Broke ...
分类：
编程语言 时间：
2019-06-21 13:09:52
阅读次数：
160
一个典型的Kafka体系结构包括若干Producer、若干Broker、若干Consumer，以及一个ZooKeeper集群，如下图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘 ...
分类：
其他好文 时间：
2019-06-21 12:32:09
阅读次数：
86
使用rocketmq时报错 搜索原因，找到这几种解决方式 1： 在启动broker时，添加 autoCreateTopicEnable=true 如： mqbroker -n localhost:9876 autoCreateTopicEnable=true 2：检查lib下有无fastjson的j ...
分类：
其他好文 时间：
2019-06-20 23:49:25
阅读次数：
152
写介绍kafka的几个重要概念（可以参考之前的博文Kafka的简单介绍）：Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群；Topic：一类消息，例如pageview日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发；Partition：topic物理上的分组，一个topic可以分为
分类：
其他好文 时间：
2019-06-19 18:40:36
阅读次数：
206
从 AMQP 协议可以看出，Queue、Exchange 和 Binding 构成了 AMQP 协议的核心 Producer：消息生产者，即投递消息的程序。 Broker：消息队列服务器实体。 Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。 Binding：绑定，它的作用就是把 ...
分类：
其他好文 时间：
2019-06-16 00:23:36
阅读次数：
98
1：kafka可以通过多个broker形成集群，来存储大量数据；而且便于横向扩展。 2：kafka信息存储核心的broker，通过partition的segment只关心信息的存储，而生产者只负责向leader角色的partition提交数据，而消费者pull数据的时候自己通过zk存储offset信 ...
分类：
其他好文 时间：
2019-06-15 00:16:48
阅读次数：
150
