概念 Kafka 是一个快速、可扩展和高可用的基于发布 订阅模式（pub sub model）的消息系统，用作消息中间件，在系统之间传递消息。其核心概念有： Topic（话题） Producer（生产者） Consumer（消费者） Broker（经纪人） 在 Kafka 中，所有的消息都由 Top ...
分类：
其他好文 时间：
2019-08-11 12:44:35
阅读次数：
108
一、安装 broker.id=1 #当前server的ID listeners=PLAINTEXT://192.168.34.160:9092 log.dirs=/usr/local/kafka/logs num.partitions=2 #根据机器数设置 zookeeper.connect=192 ...
分类：
其他好文 时间：
2019-08-10 11:53:26
阅读次数：
73
原文: http://106.13.73.98/__/156/ 安装：pip install celery celery 是基于 Python 实现的模块，用于执行异步定时周期任务。 __celery 组成结构：__ 1. 用户任务 app： 用于生成任务 2. 管道 broker 与 backen ...
分类：
编程语言 时间：
2019-08-08 21:01:25
阅读次数：
126
原文: http://106.13.73.98/__/156/ 安装：pip install celery celery 是基于 Python 实现的模块，用于执行异步定时周期任务。 __celery 组成结构：__ 1. 用户任务 app： 用于生成任务 2. 管道 broker 与 backen ...
分类：
编程语言 时间：
2019-08-08 18:59:50
阅读次数：
70
fetch.min.bytes. #获取最小字节数据 Consumer 向broker中要数据时是按大小来返回的，如果数据没有达到指定的MB，consumer会处于等待状态，直到broker 从producer 哪里获取到指定大小的数据为止。获取取的最小数据大小是指的每个partition上的数据。... ...
分类：
其他好文 时间：
2019-08-06 00:41:49
阅读次数：
92
echo‘{"topics":[{"topic":"test1"},{"topic":"test2"}],"version":1}‘>ready-move-topics.json/usr/hdp/current/kafka-broker/bin/kafka-reassign-partitions.sh--zookeeperagent01.ambari.com:2181,agent02.amb
分类：
其他好文 时间：
2019-08-02 16:41:04
阅读次数：
79
一：装java环境，确保java能正确调用 kafka下载地址：http://kafka.apache.org/downloads 下载并解压kafka： 新建两个文件夹，用于存放zookeeper和kafka的log数据 修改配置： 1、新建zookeeper_data\zookeeper文件夹， ...
分类：
其他好文 时间：
2019-08-02 00:09:46
阅读次数：
119
消息 1. 大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力 2. 消息服务中两个重要概念： 消息代理（message broker）和目的地（destination） 当消息发送者发送消息以后，将由消息代理接管，消息代理保证消息传递到指定目 的地。 3. 消息队列主要有两种形式的目 ...
分类：
编程语言 时间：
2019-07-31 00:49:32
阅读次数：
94
执行启动kafka服务的命令时报错：nohup bin/kafka-server-start.sh config/server.properties 2>&1 & [2019-07-28 12:58:44,760] ERROR [ReplicaManager broker=1] Error whil ...
分类：
其他好文 时间：
2019-07-29 00:21:14
阅读次数：
351
一. Celery简介 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store） ...
分类：
其他好文 时间：
2019-07-24 13:43:45
阅读次数：
144
