聚焦爬虫：爬取页面中指定的页面内容 - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 数据解析分类： -正则 -bs4 -xpath（***） 数据解析原理概述 https://book.apeland.cn/details/78/ - 解析的局部的文本内容都会在标签之间 ...
分类：
其他好文 时间：
2020-07-28 10:13:43
阅读次数：
76
#编码流程： #1.验证码的识别，获取验证码图片的文字数据 #2.对post请求进行发送（处理请求函数） #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #1.对验证码图片进行捕 ...
分类：
其他好文 时间：
2020-07-28 10:08:07
阅读次数：
164
#编码流程： #1.验证码的识别，获取验证码图片的文字数据 #2.对post请求进行发送（处理请求函数） #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #创建一个session ...
分类：
其他好文 时间：
2020-07-28 10:07:17
阅读次数：
75
import requests from lxml import etree import re from multiprocessing.dummy import Pool #需求：爬取梨视频的视频数据 headers = { 'User-Agent':'Mozilla/5.0 (Windows ...
分类：
编程语言 时间：
2020-07-28 10:02:06
阅读次数：
77
一、RDB 详解 RDB 是 Redis 默认的持久化方案。在指定的时间间隔内，执行指定次数的写操作，则会将内存中的数据写入到磁盘中。即在指定目录下生成一个dump.rdb文件。Redis 重启会通过加载dump.rdb文件恢复数据。 从配置文件了解RDB 打开 redis.conf 文件，找到 S ...
分类：
数据库 时间：
2020-07-28 00:28:09
阅读次数：
111
微服务阶段 javaSE ： OOP Mysql: 持久化 html+css+js+jquery+框架: 视图、框架不熟练、css不熟练。 javaWeb: 独立开发MVC三层架构网站： 最原始 ssm: 框架，简化了开发流程，配置也变得较为复杂。 war: tomcat运行 spring再简化：S ...
分类：
编程语言 时间：
2020-07-27 23:56:33
阅读次数：
104
1、什么是数据卷 将运用与运行的环境打包形成容器运行 ，运行可以伴随着容器，但是我们对数据的要求希望是持久化的 容器之间希望有可能共享数据 Docker容器产生的数据，如果不通过docker commit生成新的镜像，使得数据做为镜像的一部分保存下来， 那么当容器删除后，数据自然也就没有了。 为了能 ...
分类：
其他好文 时间：
2020-07-27 17:44:44
阅读次数：
69
redis-持久化 ? redis是一个内存数据库，数据是保存在内存中的，内存中的数据变化是很快的，比如服务器出现宕机或者重启，redis应用挂了，那么数据就丢失了，这个是很严重的问题。redis提供了两种持有化的方式来解决这个问题，RDB(Redis DateBase)和AOF(Append On ...
分类：
其他好文 时间：
2020-07-27 16:02:58
阅读次数：
63
Redis支持RDB和AOF两种持久化机制，持久化功能有效地避免因进程退出造成的数据丢失问题，当下次重启时利用之前持久化的文件即可实现数据恢复。RDB持久化RDB持久化是把当前进程数据生成快照保存到硬盘的过程，触发RDB持久化过程分为手动触发和自动触发。手动触发数据持久化手动触发分别对应save和bgsave：save指令：阻塞当前redis服务器，直到RDB过程完成为止（线上不建议使用，阻塞时间
分类：
其他好文 时间：
2020-07-27 10:01:33
阅读次数：
97
编程路漫之远兮，集数据库之大体 ； 劝君专注案前事，亦是杯酒敬苍生 ； 数据库基本概念 数据库： DataBase 简称 ： DB，用于存储和管理数据的仓库。 特点： 1. 持久化存储数据的。其实数据库就是一个文件系统 2. 方便存储和管理数据 3. 使用了统一的方式操作数据库 -- SQL MyS ...
分类：
数据库 时间：
2020-07-27 09:26:49
阅读次数：
109
