[TOC]1.简单说说为什么用rookrook这里就不作详细介绍了，具体可以到官网查看。说说为什么要在kubernetes上使用rook部署ceph集群。众所周知，当前kubernetes为当前最佳云原生容器平台，随着pod在kubernetes节点内被释放，其容器数据也会被清除，即没有持久化存储数据能力。而ceph作为最好的开源存储之一，也是结合kubernetes最好的存储之一。利用kuber
分类：
Web程序 时间：
2019-11-12 01:10:42
阅读次数：
184
4. redis持久化 是一种内存型数据库，一旦服务器进程退出，数据库的数据就会丢失，为了解决这个问题， 提供了两种持久化的方案，将内存中的数据保存到磁盘中，避免数据的丢失。 4.1 RDB持久化 提供了 的功能，这个功能可以将 在内存中的的状态保存到硬盘中，它可以 手动执行。 也可以再 中配置， ...
分类：
其他好文 时间：
2019-11-10 19:24:47
阅读次数：
91
持久化存储Datavolume要知道容器是有生命周期的。docker默认的存储方式:存储类型：(stragedriver:overlay2.xfs)datavolume有两种挂载方式：1）bindmount（用户管理）：将宿主机上的某个目录或文件（不可以是没有格式化的磁盘文件），挂载到容器中，默认在容器内对此目录是有读写权限的，如果只需要向容器内添加文件，不希望覆盖目录，需要注意源文件必须存在，否
分类：
其他好文 时间：
2019-10-31 18:37:46
阅读次数：
87
一、序列化基本概述1、何为序列化序列化就是将内存中的对象，转换成字节序列（或者按照其他数据传输协议转换），以便于持久化存储到磁盘中以及网络传输2、为什么需要序列化一般情况下，对象只存储在本地的内存中，只允许本地的进程调用。而随着分布式程序的出现，需要在不同的主机上不同进程调用对象，这就需要将对象通过网络传输到另外的主机上。但是对象不经过处理无法通过网络传输，而通过序列化处理之后，对象可以通过网络传
分类：
其他好文 时间：
2019-10-29 13:26:00
阅读次数：
74
1.图片下载 # 百度图片:http://image.baidu.com/# 搜狗图片:https://pic.sogou.com/ # 图片爬取:1).寻找图片下载的url: elements与network抓包2).浏览器中访问url, 进行验证3).编写代码获取url4).请求url地址, 获 ...
分类：
其他好文 时间：
2019-10-28 21:05:27
阅读次数：
120
一、k8s基本概念 k8s大部分概念比如Node，Pod、RC，service等都可以看做一种资源对象，几乎所有的资源对象都可以通过k8s提供的kubectl工具执行增，删，改，查等操作并将其保存在etcd中持久化存储。 二、master master指的是集群控制节点，来负责整个集群的管理和控制， ...
分类：
其他好文 时间：
2019-10-22 18:46:23
阅读次数：
102
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 scrapy 框架 高性能的网络请求 高性能的数据解析 高性能的持久化存储 深度爬取 全站爬取 分布式 中间件 请求传参 环境的安装 mac/linux：pip i ...
分类：
其他好文 时间：
2019-10-20 21:39:27
阅读次数：
112
CrawlSpider实现的全站数据的爬取 新建一个工程 cd 工程 创建爬虫文件：scrapy genspider t crawl spiderName www.xxx.com 连接提取器LinkExtractor 可以根据指定的规则对指定的连接进行提取 提取的规则就是构造方法中的allow（‘正 ...
分类：
编程语言 时间：
2019-10-16 00:37:46
阅读次数：
117
一丶scrapy的图片数据爬取（流数据的爬取） ? scrapy中封装好了一个管道类（ImagesPipeline），基于该管道类可以实现图片资源的请求和持久化存储 编码流程： 爬虫文件中解析出图片的地址 将图片地址封装到item中且提交给管道 管道文件中自定义一个管道类（父类：ImagesPipe ...
分类：
编程语言 时间：
2019-10-16 00:16:43
阅读次数：
187
参考: https://docs.ucloud.cn/compute/uhost/introduction/disk 云硬盘 作为云计算场景基础块存储产品为云主机提供持久化存储空间的块设备硬盘。其具有独立的生命周期，基于网络分布式访问，为云主机提供的数据大容量、高可靠、可扩展、高易用、低成本的硬盘。 ...
分类：
其他好文 时间：
2019-10-10 15:50:56
阅读次数：
125
