一、什么是分布式分布式的CAP理论告诉我们：任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。C：一致性，在分布式环境下，一致性是指多个节点同一时刻要有同样的值；A：可用性 ...
分类：
其他好文 时间：
2019-02-08 23:17:53
阅读次数：
230
一 本身自带的方法进行使用: 二:redisson使用: ...
分类：
其他好文 时间：
2019-02-07 23:54:18
阅读次数：
312
一、前言 在上一篇文章中，已经介绍了基于Redis实现分布式锁的正确姿势，但是上篇文章存在一定的缺陷——它加锁只作用在一个Redis节点上，如果通过sentinel保证高可用，如果master节点由于某些原因发生了主从切换，那么就会出现锁丢失的情况： 于是，客户端1和客户端2同时持有了同一个资源的锁 ...
分类：
其他好文 时间：
2019-01-23 23:28:16
阅读次数：
300
文档结构如下： Redis cluster 是redis的分布式解决方案，在3.0版本正式推出后，有效的解决了redis分布式方面的需求；当遇到单机内存，并发，流量等瓶颈是，可以采用cluster架构方案达到负载均衡的目的。 官方网站： https://redis.io/topics/cluster ...
分类：
系统相关 时间：
2019-01-18 19:52:28
阅读次数：
748
爬虫scrapy框架之CrawlSpider 爬虫scrapy框架之CrawlSpider 引入 提问：如果想要通过爬虫程序去爬取全站数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpi ...
分类：
其他好文 时间：
2019-01-16 22:56:20
阅读次数：
296
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据 ...
分类：
其他好文 时间：
2019-01-16 20:48:10
阅读次数：
151
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据 ...
分类：
其他好文 时间：
2019-01-16 16:40:55
阅读次数：
140
为什么要学？ Scrapy_redis在scrapy的基础上实现了更多，更强大的功能。 有哪些功能体现？ request去重、爬虫持久化、实现分布式爬虫、断点续爬（带爬取的request存在redis中）、增量式爬虫（爬取过的生成指纹） 工作流程 先来看看之前的爬虫流程 再来看看scrapy_red ...
分类：
其他好文 时间：
2019-01-16 00:19:45
阅读次数：
781
一.Redis分布式锁的实现以及存在的问题锁是针对某个资源，保证其访问的互斥性，在实际使用当中，这个资源一般是一个字符串。使用Redis实现锁，主要是将资源放到Redis当中，利用其原子性，当其他线程访问时，如果Redis中已经存在这个资源，就不允许之后的一些操作。springboot使用Redis的操作主要是通过RedisTemplate来实现，一般步骤如下：将锁资源放入Redis（注意是当ke
分类：
编程语言 时间：
2019-01-11 14:16:16
阅读次数：
282
本套课程包含：java电商项目实战课程 Tomcat集群视频教程 Redis项目实战课程课程目录1-1 课程导学1-2 大型Java项目架构演进解析1-3 一期课程与问答服务回顾1-4 一期项目结构和代码回顾1-5 课程使用系统及技术版本介绍（一期+二期）1-6 二期项目初始化第2章 Lombok框 ...
分类：
编程语言 时间：
2019-01-08 00:57:02
阅读次数：
232
