StatefulSet 简介 在Kubernetes中,Pod的管理对象RC、Deployment、DaemonSet和Job都是面向无状态的服务。但现实中有很多服务是有状态的,特别是一些复杂的中间件集群,例如MySQL集群、MongoDB集群、Akka集群、ZooKeeper集群等。 以上集群有几 ...
分类：
Web程序 时间：
2019-10-05 12:10:03
阅读次数：
107
框架：继承了很多功能并且具有很强通用性的项目模板 scrapy:高性能的持久化存储，异步的数据下载，高性能数据解析，分布式 环境安装： linux和mac操作系统： pip install scrapy pip install scrapy windows系统： pip install wheel ...
分类：
其他好文 时间：
2019-10-04 18:56:30
阅读次数：
89
[TOC] MySql 1. 数据库的基本概念 1. 数据库的英文单词：DataBase 简称：DB 2. 什么是数据库？ 用于存储和管理数据的仓库。 3. 数据库的特点： 1. 持久化存储数据的。其实数据库就是一个文件系统。 2. 方便存储和管理数据的。 3. 使用了统一的方式操作数据库 SQL ...
分类：
数据库 时间：
2019-09-28 13:02:46
阅读次数：
100
1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储 scrapy crawl 爬虫名称 -o xxx.jso ...
分类：
编程语言 时间：
2019-09-24 12:30:59
阅读次数：
91
第一种 指定volume文件mysql存储，存储的位置为/var/lib/mysql -v mysql:/var/lib/mysql 第二种 同步文件，将容器中的skeleton文件夹的内容同步到宿主机的skeleton文件夹 -v /soymilk/docker/skeleton:/skeleto ...
分类：
其他好文 时间：
2019-09-23 15:00:41
阅读次数：
118
回顾 5种反爬机制 robots.txt：反爬机制，防君子不防小人 UA检测：UA伪装 数据加密 图片懒加载 代理ip requests模块爬取流程： 指定url 发起请求 获取页面数据 数据解析 持久化存储 bs4解析： 环境安装：bs4、lxml解析器 实例化bs对象，将页面源码数据加载到该对象 ...
分类：
编程语言 时间：
2019-09-19 23:28:00
阅读次数：
178
[TOC] 数据库系统解决的问题：持久化存储，优化读写，保证数据的有效性 当前使用的数据库，主要分为两类 文档型，如sqlite，就是一个文件，通过对文件的复制完成数据库的复制 服务型，如mysql、postgre，数据存储在一个物理文件中，但是需要使用终端以tcp/ip协议连接，进行数据库的读写操 ...
分类：
数据库 时间：
2019-09-18 00:18:08
阅读次数：
140
[TOC] Java IO流(二) 7. 字节缓冲流 能够高速读写的缓冲流，能够转换编码的转换流，能够持久化存储对象的序列化流等等，这些功能强大的流，都是在基本的流对象基础之上创建而来的，就像穿上铠甲的武士一样，相当于是对基本流对象的一种增强。 7.1 概述 缓冲流，也叫高效流，是对4个基本的 Fi ...
分类：
编程语言 时间：
2019-09-08 18:30:00
阅读次数：
80
编码解码 计算机内存 计算机内存的编码是 编码方式表示的。但是数据要是想要保存到硬盘或者进行网络传输，就会使用utf 8或者gbk，在中国的的话，系统默认是gbk编码，那为啥不直接用Unicode进行传输呢？ 虽然Unicode可以容纳最多的字符种类但是它所占用的空间也非常大，所以在持久化存储或者网 ...
分类：
其他好文 时间：
2019-09-07 00:45:12
阅读次数：
121
爬虫串讲 requests 一定要掌握 爬取数据流程: 1. 指定url 2. 发起请求 3. 获取响应数据 4. 数据解析 5. 持久化存储 get,post参数: url data/params headers proxies 处理ajax动态加载的数据: 动态加载的数据: 通过另一个请求请求到 ...
分类：
其他好文 时间：
2019-09-05 18:20:09
阅读次数：
89
