在学习Celery之前，我先简单的去了解了一下什么是生产者消费者模式。 生产者消费者模式 在实际的软件开发过程中，经常会碰到如下场景：某个模块负责产生数据，这些数据由另一个模块来负责处理（此处的模块是广义的，可以是类、函数、线程、进程等）。产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为 ...
分类：
其他好文 时间：
2019-12-02 18:43:48
阅读次数：
82
利用“生产者/消费者模式”去解决线程间的通信问题，这里整理“管程法”与“信号灯法”两种实现方式。 “管程法” 代码示例： “信号灯法” 代码示例： 线程池 JDK5.0起提供了线程池相关API：ExecutorService和Executors ExecutorService:真正的线程池接口。常见 ...
分类：
编程语言 时间：
2019-11-10 13:19:55
阅读次数：
71
生产者消费者模式是多线程中最为常见的模式：生产者线程(一个或多个)生成面包放进篮子里(集合或数组)，同时，消费者线程(一个或多个)从篮子里(集合或数组)取出面包消耗。虽然它们任务不同，但处理的资源是相同的，这体现的是一种线程间通信方式。
分类：
编程语言 时间：
2019-11-03 22:14:48
阅读次数：
85
kafka介绍： 作用： 系统之间解耦和 峰值压力缓冲 异步通信 特点：生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据，高吞吐量，没有主从关系，依靠Zk协调 结构： topic：消息队列/分类 kafka里面的消息是有topic来组织的，简单的我们可以想象为一个队 ...
分类：
其他好文 时间：
2019-11-01 09:56:38
阅读次数：
84
SparkStreaming+Kafka ?kafka是什么，有哪些特点 ?SparkStreaming+Kafka有什么好处 –解耦 –缓冲 消息列队的特点 生产者消费者模式 ?可靠性保证 –自己不丢数据 –消费者不丢数据：“至少一次，严格一次” broker n. 经纪人，掮客 vt. 以中间人... ...
分类：
其他好文 时间：
2019-09-28 00:47:33
阅读次数：
116
一、ipc机制 进程通讯 管道:pipe 基于共享的内存空间 队列:pipe+锁 queue 下面拿代码来实现Queue如何使用: 案例一: 案例二: 案例三:（从这往下都是了解） 案例四: 案例五: 案例六: 二、生产者消费者模型： ? 在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。 ...
分类：
系统相关 时间：
2019-09-16 21:41:47
阅读次数：
137
1. 手写一个单例模式 2. 手写一个生产者消费者模式 3. 手写一个LRU算法的实现； 4. 手写快排 5. 手写堆排 6. 手写树的遍历(先序、中序、后序、层序) 7. 手写一个二分查找 #. 剑指OFFER #. LeetCode ...
分类：
其他好文 时间：
2019-09-11 12:06:41
阅读次数：
104
Reference: https://time.geekbang.org/column/article/112160 背景 生产环境中可以用生产者消费者模式来实现瞬时高并发的流量削峰，然而这样做虽然缓解了消费方的压力，但生产方则会因为瞬时高并发，而发生大量线程阻塞。面对这样的情况，有什么方式可以优化 ...
分类：
编程语言 时间：
2019-09-08 09:51:18
阅读次数：
119
多线程 同步对象 解决什么问题？ 想要指定的一个线程先执行，再去执行其他线程 精华如下 信号量 相当于一次可以多个线程的同步锁 输出结果：一次打印5个线程的输出 Thread 1 Thread 4 Thread 2 Thread 3 Thread 5 Thread 6 Thread 9 Thread ...
分类：
其他好文 时间：
2019-09-01 21:59:58
阅读次数：
101
生产者消费者模式管程法通过容器中介，将数据放入和取出wait()导致当前线程等待，直到另一个线程调用该对象的notify()或notyfyAll()方法notify()唤醒正在等待对象监视器的单个线程,notifyAll()唤醒正在等待对象监视器的所有线程publicclasstuble{publicstaticvoidmain(String[]args){SynContainercontaine
分类：
编程语言 时间：
2019-08-15 22:55:23
阅读次数：
132
