一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
分类：
其他好文 时间：
2021-02-02 11:24:43
阅读次数：
0
1.确认redis在后台开启 2.开放端口号6379 systemctl stop firewalld systemctl mask firewalld ...
分类：
其他好文 时间：
2021-02-02 11:24:29
阅读次数：
0
在之前的项目中分布式锁和限流是基于redis进行的，分布式锁基于setnx和expire命令实现，也可以基于lua脚本实现。限流是采用固定时间窗算法进行的。 最近了解到redisson这个工具类，而且基于其分布式锁的实现是比较常见的，简单研究下其使用。 官网：wiki地址 https://githu ...
分类：
其他好文 时间：
2021-02-02 11:13:05
阅读次数：
0
在 gitlab 的 Amin Area 页面，打开侧边栏的 Kubernetes ，点击 Integrate with a cluster certificates，选择 Connect existing cluster，输入以下：Kubernetes cluster name：输入集群名称 `c... ...
分类：
Web程序 时间：
2021-02-02 11:11:16
阅读次数：
0
环境：linux、redis redis持久化数据到磁盘配置有两种方式，修改配置文件redis.conf: 1、快照dump.rdb filesnapshotting（快照）：这种方式是就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb。可以通过配置设置自动做快照持久化的 ...
分类：
其他好文 时间：
2021-02-02 10:51:29
阅读次数：
0
福哥答案2021-01-31：[答案来自此链接：](https://www.zhihu.com/question/442112697)一个集群模式的官方推荐最小最佳实践方案是 6 个节点，3 个 Master 3 个 Slave 的模式。 key 分槽与转发机制Redis 将键空间分为了 16384 ...
分类：
其他好文 时间：
2021-02-02 10:33:54
阅读次数：
0
字符串 @GetMapping("/string") public String stringTest(){ redisTemplate.opsForValue().set("str","Hello World"); String str = (String) redisTemplate.opsFo ...
分类：
其他好文 时间：
2021-02-01 12:45:42
阅读次数：
0
事务(事务不保证原子性，没有回滚） 原理：所有命令行入队列 发起执行命令的时候才会执行 事务+乐观锁 原理:exec执行的版本看一下与原来获取的版本一致不一致，一样执行成功 ...
分类：
其他好文 时间：
2021-02-01 12:45:02
阅读次数：
0
redis是一个内存数据库，数据都是加载在内存中，因此效率很高很快。但是内存中的数据会因为关机断电等操作消失，一次redis会有一个策略来将内存中的数据保存到硬盘中。 linux 可以使用whereis redis 查看redis配置文件和命令位置 连接redis可以使用命令 config get ...
分类：
数据库 时间：
2021-02-01 11:46:14
阅读次数：
0
Redis 5 解压缩，编译（/home/software/） tar -zxvf redis-5.0.5.tar.gz ln -s redis-5.0.5 redis yum install gcc-c++ cd redis make && make install 此时，便可以通过redis-s ...
分类：
其他好文 时间：
2021-01-30 12:22:13
阅读次数：
0
