爬虫学习 05.Python网络爬虫之三种数据解析方式 引入 回顾requests实现数据爬取的流程 1. 指定url 2. 基于requests模块发起请求 3. 获取响应对象中的数据 4. 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多 ...
分类：
编程语言 时间：
2020-01-09 19:16:10
阅读次数：
150
原理： 表单提交重定向 1、如何通过服务器让客户端重定向（服务器重定向） 先写个死数据测试下 如何通过服务器让客户端重定向？ 1、设置状态码为302临时重定向（301为永久重定向） 2、在响应头中通过Location告诉客户端网哪里重定向 3、如果客户端发现收到的服务器响应状态码是302，就会自动去 ...
分类：
其他好文 时间：
2020-01-04 16:00:51
阅读次数：
177
节点配额和内核参数调整 对于公有云上的 Kubernetes 集群，规模大了之后很容器碰到配额问题，需要提前在云平台上增大配额。这些需要增大的配额包括 虚拟机个数 vCPU 个数 内网 IP 地址个数 公网 IP 地址个数 安全组条数 路由表条数 持久化存储大小 参考gce随着node节点的增加ma ...
分类：
其他好文 时间：
2020-01-03 10:28:25
阅读次数：
148
docker部署springboot项目 1、项目打包成jar包 2、yml配置 3、打包，或者直接 4、创建文件夹dockerJar,用于存放jar包和dockerfile文件，创建dockerfile文件，内容如下： from:指定基础镜像，写在命令最前面，后面指令都依赖于指定的镜像。 VOLU ...
分类：
编程语言 时间：
2020-01-03 00:03:49
阅读次数：
218
[root@localhost ~]# docker run --name mysql -p 3306:3306 -v /mysql（主机上的目录）:/var/lib/mysql（容器内部目录） -d hub.c.163.com/public/centos:6.7-tools [root@local ...
分类：
其他好文 时间：
2019-12-30 13:02:12
阅读次数：
102
scrapy是爬虫中封装好的一个明星框架，具有的功能： 高性能的持久化存储 异步的数据下载 高性能数据解析，分布式 scrapy框架基本使用 环境安装 mac or linux pip install scrapy windows pip install wheel 下载twisted，下载地址为 ...
分类：
其他好文 时间：
2019-12-28 21:17:25
阅读次数：
90
requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 requests模块的使用流程 1、指定url 2、发起请求 UA伪装 请求参数的处理 3、获取响应数据 4、持久化存储 requrest模块基本知识点 实战示例 3.re ...
分类：
其他好文 时间：
2019-12-28 20:46:52
阅读次数：
92
一、前言当我们使用Docker创建一个mysql的container,数据是存储在container内的.如果有一天不小心执行了dockerrm$(dockerps-aq)删除所有container.那么mysql里的数据也会被删掉,这是不安全的.我们需要将数据持久化,存储在container外部.即使删除container也不会删除原有的数据.二、容器的缺陷容器中的数据可以存储在容器层。但是将数
分类：
其他好文 时间：
2019-12-19 00:01:49
阅读次数：
187
Kubernetes中的大部分概念如Node、Pod、Replication Controller、Service等都可以看作一种“资源对象”，几乎所有的资源对象都可以通过Kubernetes提供的kubectl工具（或者API编程调用）执行增、删、改、查等操作并将其保存在etcd中持久化存储。从这 ...
分类：
Web程序 时间：
2019-12-19 00:01:12
阅读次数：
143
最近需要使用嵌入式数据库进行存储应用本地信息，本文章主要进行记录当前比较流行的嵌入式数据库相关的链接，嵌入式数据库往往是以lib的形式存在，常用于持久化存储软件的信息： SQLite 嵌入式关系数据库：https://www.sqlite.org/index.html Embedded databa ...
分类：
数据库 时间：
2019-12-15 21:47:13
阅读次数：
141
