本文先回顾锁的概念，再介绍分布式锁，以及如何用Redis来实现分布式锁。 ...
分类：
其他好文 时间：
2019-09-25 12:26:18
阅读次数：
72
本案例主要讲解 实现分布式锁的两种实现方式： 实现、 实现。网上关于这方面讲解太多了，Van自认为文笔没他们好，还是用示例代码说明。 一、 实现 该方案只考虑 单机部署的场景 1.1 加锁 1.1.1 原理 1. : 使用 来当锁，因为 是唯一的; 1. : 我传的是唯一值（ ），很多童鞋可能不明白 ...
分类：
其他好文 时间：
2019-09-21 01:25:59
阅读次数：
185
第一篇：初识Redis 一、Redis是什么？ Redis 是一个开源（BSD许可）的，使用ANSI C语言编写的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如：字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets） ...
分类：
其他好文 时间：
2019-09-03 21:53:04
阅读次数：
89
前言 分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式，基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客，然而他们的实现却有着各种各样的问题，为了避免误人子弟，本篇博客将详细 ...
分类：
编程语言 时间：
2019-09-02 15:43:59
阅读次数：
114
redis分布式爬虫 概念：多台机器上可以执行同一个爬虫程序,实现网站数据的爬取 原生的scrapy是不可以实现分布式爬虫, 原因如下： 调度器无法共享 管道无法共享 scrapy-redis组件：专门为scrapy开发的一套组件。 该组件可以让scrapy实现分布式 pip install scr ...
分类：
其他好文 时间：
2019-08-19 14:38:01
阅读次数：
67
一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 ...
分类：
编程语言 时间：
2019-08-19 09:54:32
阅读次数：
118
普通实现 说道Redis分布式锁大部分人都会想到：setnx+lua，或者知道set key value px milliseconds nx。后一种方式的核心实现命令如下： - 获取锁（unique_value可以是UUID等） SET resource_name unique_value NX ...
分类：
其他好文 时间：
2019-08-18 22:12:46
阅读次数：
89
一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 ...
分类：
编程语言 时间：
2019-08-18 11:44:04
阅读次数：
79
上一篇写的是mongo分布式锁的bug, 发现网上使用mongo实现分布式锁方案有bug, 目前我还找到解决方案, 建议大家还是使用redis来实现 具体思路还是利用redis的setnx方法的安全性, 同一时刻永远只有一个线程能set成功. 加锁代码如下: ...
分类：
其他好文 时间：
2019-08-15 21:01:12
阅读次数：
107
悲观锁总是假设最坏的情况，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会阻塞直到它拿到锁（共享资源每次只给一个线程使用，其它线程阻塞，用完后再把资源转让给其它线程）。传统的关系型数据库里边就用到了很多这种锁机制，比如行锁，表锁等，读锁，写锁等，都是在做操 ...
分类：
其他好文 时间：
2019-08-11 17:22:13
阅读次数：
104
