一、 基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作 ...
分类：
其他好文 时间：
2019-01-11 14:44:49
阅读次数：
172
回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整 ...
分类：
其他好文 时间：
2019-01-10 21:46:21
阅读次数：
201
序列化 什么是序列化 序列化是将字典、列表等数据类型转化成一个字符串的过程 序列化的目的 1. 以某种存储形式使自定义对象持久化（存储） 2. 将对象从一个地方传递到另一个我地方（传输） 3. 使程序更具维护性 json模块 json是很多语言通用的一种数据标准，json可以转化的数据类型包括：st ...
分类：
编程语言 时间：
2019-01-09 20:22:32
阅读次数：
229
scrapy框架之持久化操作 基于终端指令的持久化存储 基于管道的持久化存储 1 基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 以爬取糗事百科(https://www.qius ...
分类：
其他好文 时间：
2019-01-08 12:15:04
阅读次数：
183
引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而 ...
分类：
编程语言 时间：
2019-01-07 22:44:23
阅读次数：
254
一.Docker持久化数据的方案 基于本地文件系统的Volume:可以在执行docker create或docker run时,通过 v参数将主机的目录作为容器的数据卷。这部分功能便是基于本地文件系统的volume管理。 基于plugin的Volume:支持第三方的存储方案,比如NAS,aws 1. ...
分类：
其他好文 时间：
2019-01-06 18:22:41
阅读次数：
194
一，redis概述与实验环境说明 1.1 什么是redis redis是一种内存型的NoSQL数据库，优点是快，常用来做缓存用 redis存储数据的方法是以key-value的形式 value类型支持字符串，列表，哈希等多种类型 1.2 环境说明 主机名 IP 用途 Redis01 10.1.1.1 ...
分类：
其他好文 时间：
2019-01-05 20:02:18
阅读次数：
261
实战 Python 网络爬虫：美团美食商家信息和用户评论 一、网站分析及项目设计 二、爬取所有商家信息 三、分别爬取每个商家的信息和用户评论信息 四、ORM 框架实现数据持久化存储 五、设置配置文件，动态控制爬取方向 一、网站分析及项目设计 二、爬取所有商家信息 三、分别爬取每个商家的信息和用户评论 ...
分类：
其他好文 时间：
2018-12-31 17:21:43
阅读次数：
232
一 Docker volume形态 因为Docker 采用 AFUS 分层文件系统时，文件系统的改动都是发生在最上面的容器层，在容器的生命周期内，它是持续的，包括容器在被停止后。但是，当容器被删除后，该数据层也随之被删除了。因此，Docker 采用 volume （卷）的形式来向容器提供持久化存储。 ...
分类：
其他好文 时间：
2018-12-27 10:29:52
阅读次数：
164
Cookie & Session(简化版） 什么是cookie？客户端（浏览器）会话技术，将数据保存到客户端 什么是会话？浏览器给服务器发送请求，会话建立。浏览器关闭，会话停止。一次会话包含多次请求和响应? 会话有几种方式？两种。?1.客户端会话技术：cookie2.服务器端会话技术：sess?io ...
分类：
其他好文 时间：
2018-12-26 12:55:20
阅读次数：
111
