在一部分内容中，我们学习了Restful接口的编写，及接口文档的生成。我们需要将接口数据进行持久化存储，这一部分我们主要学习几种持久化框架将数据进行存储。本部分内容中，我们都将使用mysql为例来做为演示数据库。 在刚开始接触数据库操作的时候我们都会使用JDBC来进行数据库操作，但是每次都要创建连接 ...
分类：
数据库 时间：
2020-10-07 21:20:43
阅读次数：
36
内容 数据库的基本概念 MySQL数据库软件 安装 卸载 配置 SQL 数据库的基本概念 1. 数据库的英文单词： DataBase 简称 ： DB 2. 什么数据库？ * 用于存储和管理数据的仓库。 3. 数据库的特点： 1. 持久化存储数据的。其实数据库就是一个文件系统 2. 方便存储和管理数据 ...
分类：
数据库 时间：
2020-10-05 21:53:13
阅读次数：
32
#一、简介 ##1、默认情况下redis的所有数据都在内存中进行存取，而将数据异步更新保存到硬盘上的操作就是持久化存储 ##2、快照：将某时某刻的数据做成一个完整的备份，如mysql的Dump，redis的RDB等 ##3、日志：任何数据操作都记录日志，要恢复数据，只要按照日志重新执行一遍即可，如m ...
分类：
其他好文 时间：
2020-09-17 18:44:30
阅读次数：
37
【缓冲流、转换流、序列化流】 主要内容 缓冲流 转换流 序列化流 打印流 第一章 缓冲流 昨天学习了基本的一些流，作为IO流的入门，今天我们要见识一些更强大的流。比如能够高效读写的缓冲流，能够转换编码的转换流，能够持久化存储对象的序列化流等等。这些功能更为强大的流，都是在基本的流对象基础之上创建而来 ...
分类：
其他好文 时间：
2020-09-17 13:28:10
阅读次数：
31
在rancher的QQ群和微信群里面经常看到大家在部署rancher的集群模式很困难的样子，各种问题不知道该怎么办。其实部署起来非常的简单。下面就使用k3s集群来安装一个rancher的集群模式。k3s是rancher公司推出的轻量化k8s，安装和运行会比k8s更容易。自动带有网络、负载均衡、traefik、持久化存储等功能。一、k3s集群安装。这里使用的数据源为etcd，当然大家可以改成mysq
分类：
其他好文 时间：
2020-09-09 18:50:57
阅读次数：
63
1、准备pvc也就是k8s容器的持久化存储 创建pv、pvc apiVersion: v1 kind: PersistentVolume metadata: name: pv-mysql-data namespace: db spec: capacity: storage: 5Gi accessMo ...
分类：
数据库 时间：
2020-08-28 14:34:48
阅读次数：
69
ImagesPipeline ImagesPipeline：专门用作于二进制数据下载和持久化存储的管道类。建议在爬虫文件中进行数据解析，不建议在爬虫文件中直接进行数据存储。 图片懒加载：应用到标签的伪属性，数据捕获的时候一定是基于伪属性进行。 # -*- coding: utf-8 -*-impor ...
分类：
其他好文 时间：
2020-08-15 23:57:48
阅读次数：
109
上次内容总结 requests作用：模拟浏览器发起请求 urllib：requests的前身 requests模块的编码流程： 指定url 发起请求： get（url,params,headers） post（url,data,headers） 获取响应数据 持久化存储 参数动态化： 有些情况下我们 ...
分类：
其他好文 时间：
2020-08-10 10:52:28
阅读次数：
64
聚焦爬虫：爬取页面中指定的页面内容 - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 数据解析分类： -正则 -bs4 -xpath（***） 数据解析原理概述 https://book.apeland.cn/details/78/ - 解析的局部的文本内容都会在标签之间 ...
分类：
其他好文 时间：
2020-07-28 10:13:43
阅读次数：
76
#编码流程： #1.验证码的识别，获取验证码图片的文字数据 #2.对post请求进行发送（处理请求函数） #3.对响应函数进行持久化存储 import requests from lxml import etree from CodeClass import YDMHttp #1.对验证码图片进行捕 ...
分类：
其他好文 时间：
2020-07-28 10:08:07
阅读次数：
164
