在学习Celery之前，我先简单的去了解了一下什么是生产者消费者模式。 生产者消费者模式 在实际的软件开发过程中，经常会碰到如下场景：某个模块负责产生数据，这些数据由另一个模块来负责处理（此处的模块是广义的，可以是类、函数、线程、进程等）。产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为 ...
分类：
其他好文 时间：
2019-12-02 18:43:48
阅读次数：
82
prodcer同步发送的机制虽然能保证消息不丢失，但是不推荐生产环境使用，性能很差。一般都是采用异步方式发送消息，把消息先放入缓冲区，然后再由IO线程推送出去，存在消息丢失的风险，而且可能发生乱序。 下面给出Kafka无消息丢失的配置： Producer端配置 block.on.buffer.ful ...
分类：
其他好文 时间：
2019-12-01 23:04:21
阅读次数：
213
Kafka在生产者中序列化为二进制对象推送给Broker，下面是一个自定义序列化的示例，序列化一个User对象； 首先，引入jackson-mapper-asl 然后定义需要被序列化的实体类： package cn.org.fubin; public class User { private Str ...
分类：
其他好文 时间：
2019-12-01 22:57:12
阅读次数：
167
1. stack 的描述及代码实现；2. queue 的描述及代码实现 ...
分类：
其他好文 时间：
2019-12-01 21:03:42
阅读次数：
92
一.RabbitMQ的介绍 RabbitMQ是消息中间件的一种,消息中间件即分布式系统中完成消息的发送和接收的基础软件.这些软件有很多,包括ActiveMQ(apache公司的),RocketMQ(阿里巴巴公司的,现已经转让给apache). 消息中间件的工作过程可以用生产者消费者模型来表示.即,生 ...
分类：
编程语言 时间：
2019-12-01 20:37:14
阅读次数：
86
Kafka入门介绍 https://www.cnblogs.com/swordfall/p/8251700.html最近在看hdoop的hdfs 以及看了下kafka的底层存储，发现分布式的技术基本上都是相同的。 都是通过增加一个coordinator的节点作为存储元数据， 将实体数据放到datan ...
分类：
其他好文 时间：
2019-12-01 09:52:12
阅读次数：
85
生产者 引入依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope>test</scope> </dependency> <dependency> ...
分类：
其他好文 时间：
2019-11-30 17:41:06
阅读次数：
121
事先准备: 1:将zk集群安装到linux系统上并启动,我这里是安装了三台,当然你也可以使用linxu或者windows的单机版,windows单机版的使用和配置都比较简单 2:(此步可以不用)将dubbo-admin安装到linxu上的tomcat中,用于查看生产者和消费者的使用情况,就是dubb ...
分类：
编程语言 时间：
2019-11-30 17:39:54
阅读次数：
109
kafka 生产者、消费者与分区的关系 背景 最近和海康整数据对接, 需要将海康产生的结构化数据拿过来做二次识别. 基本的流程: 海康大数据 kafka server 平台 Kafka 的 topic 正常过车 topic： BAYONET_VEHICLEPASS 违法过车 topic： BAYON ...
分类：
其他好文 时间：
2019-11-29 18:25:16
阅读次数：
73
本文代码使用的是Spring Boot 2.1.8.RELEASE 版本 1、 pom.xml文件，引入依赖 采用Kafka提供的StringSerializer和StringDeserializer进行序列化和反序列化 2、在application-dev.properties配置生产者 3、生产 ...
分类：
编程语言 时间：
2019-11-28 16:27:49
阅读次数：
102
