一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 ...
分类：
编程语言 时间：
2019-08-19 09:54:32
阅读次数：
118
一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 ...
分类：
编程语言 时间：
2019-08-18 11:44:04
阅读次数：
79
一、Redis简介SpringBoot中除了对常用的关系型数据库提供了优秀的自动化支持之外，对于很多NoSQL数据库一样提供了自动化配置的支持，包括：Redis,MongoDB,Elasticsearch。这些案例整理好后，陆续都会上传Git。SpringBoot2版本，支持的组件越来越丰富，对Redis的支持不仅仅是扩展了API，更是替换掉底层Jedis的依赖，换成Lettuce。本案例需要本地
分类：
数据库 时间：
2019-08-14 23:29:40
阅读次数：
136
Redis安装与配置 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件 安装redis Yum安装 检测redis是否工作 或者命令启动 源码安装redis,编译安装 编译安装的优势是： 编译安装时可以指定扩展的module（模块），php、apa ...
分类：
其他好文 时间：
2019-08-10 09:43:03
阅读次数：
83
Redis是一个非关系型数据库，数据以key-value键值对的形式存储在数据库中。 Redis的安装，可以直接参考这个链接：https://www.runoob.com/redis/redis-install.html ，我下面说的，会比这个教程稍详细一点。 【1】我下载的是Redis-x64-3 ...
分类：
数据库 时间：
2019-08-09 13:33:34
阅读次数：
159
现在先简单的尝试下java如何连接上redis数据库 首先我们需要一个jedis.jar架包，我下载的是2.9.0的版本 附上下载地址，点击我下载 开始我们的常规操作，打开idea，导入架包，emmmmm，感觉这次会写的特别简短 先导包 我们需要连接redis数据库的话，都是依赖于jedis对象而来 ...
分类：
数据库 时间：
2019-07-30 21:49:27
阅读次数：
135
Web想必我们都不陌生，我们现在日常访问的网站都是Web服务程序搭建而成的，Python同样不例外也有一些这样的Web服务程序，比如Flask、Django等，我们可以拿它来开发网站，开发接口等等。在本书中，我们主要要用到这些Web服务程序来搭建一些API接口，供我们的爬虫使用。例如，维护一个代理池，代理保存在Redis数据库中，我们要将代理池作为一个公共的组件使用，那么如何构建一个方便的平台来供
分类：
编程语言 时间：
2019-07-30 09:19:15
阅读次数：
158
emmmmmm，这个其实是28号老师布置下来的任务，但博客今天才开，思来想去还是把昨天的给补上吧，按住顺序来吧！ 1、redis的安装 redis数据库的安装并不难，首先安装好依赖，因为redis是C语言编写，需要安装gcc来编译 yum install gcc-c++ -y（安装gcc） 执行上面 ...
分类：
数据库 时间：
2019-07-29 21:36:50
阅读次数：
128
合并购物车逻辑分析 1. 合并方向：cookie 购物车数据合并到 Redis 购物车数据中。 2. 合并数据：购物车商品数据和勾选状态。 3. 合并方案： 1. Redis 数据库中的购物车数据保留。 2. 如果 cookie 中的购物车数据在 Redis 数据库中已存在 将 cookie 购物车 ...
分类：
其他好文 时间：
2019-07-24 22:24:01
阅读次数：
116
