持久化存储操作： a.磁盘文件 a) 基于终端指令 i. 保证parse方法返回一个可迭代类型的对象（存储解析到的页面内容） ii. 使用终端指令完成数据存储到指定磁盘文件的操作 1. scrapy crawl 爬虫文件名称 -o 磁盘文件.后缀 如（test.csv） b)基于管道 i. item ...
分类：
其他好文 时间：
2018-12-13 19:13:11
阅读次数：
206
引入 回顾requests实现数据爬取的流程 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式 ...
分类：
其他好文 时间：
2018-12-12 23:47:53
阅读次数：
465
引入 回顾requests实现数据爬取的流程 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式 ...
分类：
编程语言 时间：
2018-12-11 20:45:54
阅读次数：
5520
1、管道的高级操作 将爬取到的数据值分别存储到本地磁盘、redis数据库、mysql数据。 qiubai.py pipelines.py 在settings配置 打开终端，先进入文件目录 多个url数据爬取 1、新建一个工程 cd 到需要保存工程的目录 scrapy startproject qiu ...
分类：
其他好文 时间：
2018-12-09 13:54:42
阅读次数：
155
一、介绍 持久化存储操作分为两类： 磁盘文件 和 数据库 。 而磁盘文件存储方式又分为：__基于终端指令__和__基于管道__ 二、基于终端指令的持久化存储 三、基于管道的持久化存储 ...
分类：
其他好文 时间：
2018-12-02 01:19:17
阅读次数：
207
本文内容来自互联网各种面试实例，以及自己的面试经历，主要是中级开发的面试题 初中级java面试主要分为几个部分： 0、序 1、 "java基础" 2、 "java多线程" 3、 "jvm知识" 4、 "spring等框架知识" 5、 "常用实践，如session同步" 6、 "其他知识，例如tomc ...
分类：
编程语言 时间：
2018-11-30 11:35:21
阅读次数：
262
一 Docker volume形态因为Docker 采用 AFUS 分层文件系统时，文件系统的改动都是发生在最上面的容器层，在容器的生命周期内，它是持续的，包括容器在被停止后。但是，当容器被删除后，该数据层也随之被删除了。因此，Docker 采用 volume （卷）的形式来向容器提供持久化存储。D... ...
分类：
其他好文 时间：
2018-11-30 00:41:39
阅读次数：
214
SQL: mysql,Oracle,sqlserver,db2特点及应用场景:1.高度事务性场景 > 银行,会计,仓库,贸易,需要大量的原子操作2.数据存储有规范的表结构设计,预先定义好 明确的字段3.数据价值高,对安全性和稳定性要求高4.需要持久化存储的"冷数据"(不需要经常读写的数据)5.需要通 ...
分类：
数据库 时间：
2018-11-20 00:05:43
阅读次数：
190
memcache介绍 名字 类型 整理 key vachar utf8_general_ci value text utf8_general_ci 使用场景 非持久化存储：对数据存储要求不高 分布式存储：不适用单机 key-value存储：格式简单，不支持list，array等数据格式 安装 方式 ...
分类：
系统相关 时间：
2018-11-12 15:51:47
阅读次数：
187
引言：回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而 ...
分类：
其他好文 时间：
2018-11-03 14:13:30
阅读次数：
167
