一、容器数据卷 docker 容器数据卷是容器在运行过程中持久化数据的一种方式，卷是目录或文件，存在于一个或多个容器中，由docker 挂载到容器，但不属于联合文件系统，因此能够绕过Union File System 提供一些用于持续存储或共享数据的特性；卷的设计目的就是数据持久化，完全独立于容器的 ...
分类：
其他好文 时间：
2019-07-11 12:22:14
阅读次数：
99
一.全站爬取(CrawlSpider) 1.基本概念 2.项目示例 ①.爬取抽屉网多页数据对象 ②爬取阳光热线 多页及详情页数据,持久化存储 二.分布式 1.基本概念 2.实现流程 3.示例(阳光热线的爬取): 三.增量式爬虫 1.对url去重(爬取4567电影网数据) 2.对数据的去重(糗事百科) ...
分类：
其他好文 时间：
2019-07-04 09:42:08
阅读次数：
85
一. redis的介绍以及安装 1. redis的介绍 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件redis是c语言编写的，支持数据持久化，是key-value类型数据库。应用在缓存，队列系统中redis支持数据备份，也就是master-sl ...
分类：
数据库 时间：
2019-06-30 00:17:35
阅读次数：
160
在k8s中部署有状态应用时，通常需要做数据持久化存储。 后端存储的方式有以下几种： 1.基于宿主机本地的存储方式； （重启pod时，若pod被调度到其他节点上，尽管原来节点上的数据不会丢失，但是其他节点上没有该应用存储过的数据，所以并不持久化） 2.基于本地过云存储服务的方式，如：（NFS、glus ...
分类：
其他好文 时间：
2019-06-25 00:18:17
阅读次数：
156
使用 docker 部署常用的开发环境 Intro 使用 docker，很多环境可以借助 docker 去部署，没必要所有的环境都在本地安装，十分方便。 部署 SqlServer docker 部署 SqlServer 2017 linux 如果希望数据持久化，可以挂载数据目录， 部署 Redis ...
分类：
其他好文 时间：
2019-06-24 19:39:23
阅读次数：
114
第一节：redis数据库介绍 概述 redis是一种支持分布式的nosql数据库,他的数据是保存在内存中，同时redis可以定时把内存数据同步到磁盘，即可以将数据持久化，并且他比memcached支持更多的数据结构(string,list列表[队列和栈],set[集合],sorted set[有序集 ...
分类：
其他好文 时间：
2019-06-21 13:07:56
阅读次数：
153
1.存储卷概述 因为pod是有生命周期的,pod一重启,里面的数据就没了,所以我们需要数据持久化存储,在k8s中,存储卷不属于容器,而是属于pod,也就是说同一个pod中的容器可以共享一个存储卷,存储卷可以是宿主机上的目录,也可以是挂载在宿主机上的外部设备. 存储卷类型: emptyDIR存储卷:p ...
分类：
其他好文 时间：
2019-06-16 13:55:16
阅读次数：
112
一、静态数据、流数据 以及 批量计算、实时计算 大数据分类两类：静态数据和动态数据（流数据）。针对这两类数据的计算模式分别是批量计算和实时计算。 静态数据：历史数据持久化存储在系统里，这类数据的特点是数据量大、数量有限（数据的时间区间是确定的）。例如企业为了支持决策分析而构建的数据仓库系统。 对这类 ...
分类：
其他好文 时间：
2019-06-14 23:54:29
阅读次数：
224
redis 1、redis是一种nosql数据库,他的数据是保存在内存中，同时redis可以定时把内存数据同步到磁盘，即可以将数据持久化，并且他比memcached支持更多的数据结构、 2 、redis 属于 非关系型数据库 redis和memcached的比较 memcached redis 类型 ...
分类：
其他好文 时间：
2019-06-01 21:08:40
阅读次数：
162
MemCache与redis的区别 Memcache：代码层次类似于Hash 支持简单数据类型 不支持数据持久化存储 不支持主动 不支持分片 Redis：键值对存储结构 类似HashMap 数据类型丰富 支持数据磁盘持久化存储 支持主从 支持分片 Redis数据类型 String：最基本的数据类型， ...
分类：
其他好文 时间：
2019-05-25 20:16:55
阅读次数：
144
