实现步骤 设计架构模式：在一个集群里，有三台服务器，其中一台使用磁盘模式，另两台使用内存模式。两台内存模式的节点速度更快，因此通过客户端连接访问它们。但是在客户端不可能分别连接两台内存节点，肯定是通过前端反向代理去轮询分发请求。如果担心前端反向代理服务器故障，可以通过keepalived软件做一个高 ...
分类：
其他好文 时间：
2020-06-03 15:40:22
阅读次数：
69
1.1.2 消息队列的两种模式 1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但 ...
分类：
其他好文 时间：
2020-06-03 00:41:04
阅读次数：
180
实验要求编写爬虫 要求1.使用threading函数（重点，实现多线程）；2.使用geturl模块（这个无所谓，用requests都可以） 一. import requests link='https://www.cnblogs.com/echoDetected/' headers={'User-A ...
分类：
编程语言 时间：
2020-06-02 20:35:30
阅读次数：
94
以 apache-activemq-5.15.12-bin.tar.gz 为例，修改activemq.xml 在 <broker> 节点内的 <systemUsage> 节点前面新增如下xml片段： <plugins> <simpleAuthenticationPlugin> <users> <au ...
分类：
其他好文 时间：
2020-06-02 13:10:17
阅读次数：
56
保证消息的安全 持久化 交换器持久化：声明交换器时指定持久化 队列持久化：声明队列时指定持久化 消息持久化：发送消息时指定持久化 一般队列和消息持久化要同时声明，此外消息假如进了交换器却找不到队列，也会丢失，必要时添加mandatory参数。 持久化会降低吞吐量。 消费者确认 订阅队列时设置auto ...
分类：
其他好文 时间：
2020-06-02 11:39:33
阅读次数：
58
RocketMQ是阿里开源的分布式消息中间件，跟其它中间件相比，RocketMQ的特点是纯JAVA实现；集群和HA实现相对简单；在发生宕机和其它故障时消息丢失率更低。 一、RocketMQ专业术语 先讲专业术语的含义，后面会画流程图来更好的去理解它们。 Producer 消息生产者，位于用户的进程内 ...
分类：
其他好文 时间：
2020-06-02 11:20:15
阅读次数：
56
一、kafka的基础架构 1）Producer ：消息生产者，就是向kafka broker发消息的客户端； 2）Consumer ：消息消费者，向kafka broker取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费 ...
分类：
其他好文 时间：
2020-06-02 11:14:14
阅读次数：
69
使用列表实现任务队列 优先级队列 按照规则订阅 Redis也可以作为任务队列。任务队列顾名思义，就是“传递任务的队列”。任务队列与消息队列什么区别呢？任务队列是逻辑模型，而消息队列是通信模型，两者是不同层次的抽象，用消息队列可以实现任务队列。 与任务队列进行交互的实体有两类，一类是生产者（produ ...
分类：
其他好文 时间：
2020-05-31 21:21:46
阅读次数：
63
前言 要了解生产者ISR，需要提前了解下生产者重试机制和应答机制 生产者重试机制 创建生产者时，可以指定retries参数，如果向broker发送消息时抛出异常，并且异常是可重试异常RetriableException，那么此时就会按照指定的次数进行重试 1、哪些情况下可以重试 （1）没有到deli ...
分类：
其他好文 时间：
2020-05-31 18:19:32
阅读次数：
105
by 豆豆 大家都知道当任务过多，任务量过大时如果想提高效率的一个最简单的方法就是用多线程去处理，比如爬取上万个网页中的特定数据，以及将爬取数据和清洗数据的工作交给不同的线程去处理，也就是生产者消费者模式，都是典型的多线程使用场景。 那是不是意味着线程数量越多，程序的执行效率就越快呢。 显然不是。线 ...
分类：
编程语言 时间：
2020-05-31 16:10:26
阅读次数：
63
