scrapy-redis 分布式爬虫爬取房天下网站所有国内城市的新房和二手房信息 先完成单机版的爬虫，然后将单机版爬虫转为分布式爬虫 爬取思路 1. 进入 https://www.fang.com/SoufunFamily.htm 页面，解析所有的省份和城市，获取到城市首页链接 2. 通过分析，每个 ...
分类：
Web程序 时间：
2020-05-31 10:50:03
阅读次数：
94
使用Redis分布式锁实现集群的主备 最近工作中遇到一个问题，我们会调用业务部门提供的HTTP接口获取所有的音视频任务信息，这些任务会被分发到各个机器节点进行处理。有两个方案： 方案一 为每台机器编号，比如有5台机器，编号为0，1，2，3，4，然后每台机器读取全量任务信息，将每个任务ID用机器总数量 ...
分类：
其他好文 时间：
2020-05-31 01:05:42
阅读次数：
90
《 你见，或者不见我，我就在那里 —— 不悲不喜 》 Redis分布式锁的正确实现方式（Java版） ...
分类：
编程语言 时间：
2020-05-26 01:05:41
阅读次数：
62
转自 https://blog.csdn.net/shuangyueliao/article/details/89344256 一、写在前面 现在面试，一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架（Spring Cloud、Dubbo）聊起，一路聊到分布式事务、分布式锁、ZooKeep ...
分类：
其他好文 时间：
2020-05-21 11:53:52
阅读次数：
43
原文:三分钟快速搭建分布式高可用的Redis集群 这里的Redis集群指的是Redis Cluster，它是Redis在3.0版本正式推出的专用集群方案，有效地解决了Redis分布式方面的需求。当单机内存、并发、流量等遇到瓶颈的时候，可以采用这种Redis Cluster方案进行解决。 分区规则 R... ...
分类：
其他好文 时间：
2020-05-12 10:02:07
阅读次数：
68
Redis Cluster是Redis在3.0版本正式推出的专用集群方案，有效地解决了Redis分布式方面的需求，让我们一起快速搭建出分布式高可用的Redis集群吧！ ...
分类：
其他好文 时间：
2020-05-12 09:43:53
阅读次数：
52
一、写在前面 现在面试，一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架（Spring Cloud、Dubbo）聊起，一路聊到分布式事务、分布式锁、ZooKeeper等知识。 所以咱们这篇文章就来聊聊分布式锁这块知识，具体的来看看Redis分布式锁的实现原理。 说实话，如果在公司里落地生产 ...
分类：
其他好文 时间：
2020-05-10 21:32:07
阅读次数：
73
分布式锁 什么是分布式锁？ 分布式锁是控制分布式系统之间同步访问共享资源的一种方式。 什么实用分布式锁？ 为了保证共享资源的数据一致性。 什么场景下使用分布式锁？ 数据重要且要保证一致性 redis事务 redis事务介绍： 1.redis事务可以一次执行多个命令，本质是一组命令的集合。 2.一个事 ...
分类：
其他好文 时间：
2020-05-08 14:44:12
阅读次数：
109
redis分布式锁。 redis单线程理解： redis操作基于命令，在一个命令执行过程中，其他命令处于等待排队状态。不可能同时执行两个命令。 故redis很适合锁分布式锁 代码： 1 private static String lockKey = "myLockKey"; 2 3 /** 4 * ...
分类：
其他好文 时间：
2020-04-30 21:36:53
阅读次数：
72
1. 核心代码： import redis.clients.jedis.Jedis;import java.util.Collections;public class RedisUtil { private static final String LOCK_SUCCESS = "OK"; priva ...
分类：
其他好文 时间：
2020-04-26 17:22:03
阅读次数：
91
