回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整 ...
分类：
编程语言 时间：
2019-02-26 19:47:53
阅读次数：
227
因Docker采用分层文件系统，对容器做的修改都发生在最上层（可写层），这样使得容器可以重复利用。然而，在容器停止时文件系统的最上层（可写层）就消失了，这样容器产生的数据也就无法保存。所以为了持久化存储容器的数据，通常会挂载容器外的存储来保存容器产生的数据，其主要的形式有如下两种方式：1）数据卷2）数据(卷)容器1、数据卷概念：数据卷是经过特殊设计的目录，可以绕过联合文件系统（UFS），为一个或多
分类：
其他好文 时间：
2019-02-19 10:19:49
阅读次数：
165
今日内容介绍1、转换流2、缓冲流3、Properties集合4、序列化流与反序列化流5、commons-IO 1 转换流概述 OutputStreamWriter 是字符流通向字节流的桥梁：可使用指定的字符编码表，将要写入流中的字符编码成字节 将字符串按照指定的编码表转成字节，在使用字节流将这些字节 ...
分类：
其他好文 时间：
2019-02-18 23:03:56
阅读次数：
490
一.全局组件 二.父组件传递信息给子组件 '''采用属性绑定的方式1,父级提供数据 2.绑定给子组件的自定义属性 3.子组件通过props的数组拿到自定义属性从而拿到数据''' 三.子组件传递信息给父组件 '''采用发生事件的方式:1.在子组件的内容系统事件中来定义一个自定义事件,采用$emit发生 ...
分类：
其他好文 时间：
2019-02-18 21:37:42
阅读次数：
184
原文:Redis发布订阅机制1. 什么是Redis Redis是一个开源的内存数据库，它以键值对的形式存储数据。由于数据存储在内存中，因此Redis的速度很快，但是每次重启Redis服务时，其中的数据也会丢失，因此，Redis也提供了持久化存储机制，将数据以某种形式保存在文件中，每次重启时，可以自动... ...
分类：
其他好文 时间：
2019-02-18 16:02:15
阅读次数：
186
查看当前的电源管理配置： pmset -g 查看所有电源管理配置： pmset -g custom 修改外接电源供电状态下电源管理配置： sudo pmset -c <option> <value> 修改电池供电状态下电源管理配置： sudo pmset -b <option> <value> 修改 ...
分类：
系统相关 时间：
2019-02-10 19:02:57
阅读次数：
505
简介 BigTable是一个分布式的结构化数据存储系统，设计用来处理海量数据，通常在数千台服务器，PB级的数据 BigTable是一个稀疏的，分布式的，持久化存储的多维度排序 Map Map的索引(key)为：行关键字，列关键字，时间戳。 Map的每个value都是未经解析的byte数组。 (row ...
分类：
其他好文 时间：
2019-01-31 21:33:48
阅读次数：
283
BPS表结构 BPS默认采用数据库方式对业务流程的定义以及运行期的流程实例、活动、工作项等进行持久化存储。主要包括BPS流程流转相关的定义、实例、工作项、参与者相关的数据表以及和实际业务流程控制相关的如代理、定时器、日志等数据表。以下是对BPS中主要使用的数据库表结构进行说明。 本部分包括如下表 ...
分类：
其他好文 时间：
2019-01-30 12:57:42
阅读次数：
172
工程目录结构 spiders下的first源码 Items文件 pipeline文件 Setting文件 ...
分类：
其他好文 时间：
2019-01-28 10:52:02
阅读次数：
162
本节演示如何为 MySQL 数据库提供持久化存储，步骤： 1、创建 PV 和 PVC 2、部署 MySQL 3、向 MySQL 添加数据 4、模拟节点宕机故障，Kubernetes 将 MySQL 自动迁移到其他节点。 5、验证数据一致性 一、创建 PV 和 PVC Pod 通常是由应用的开发人员维 ...
分类：
数据库 时间：
2019-01-27 19:24:03
阅读次数：
275
