为了增强容错性和高可用，避免上游RDD被重复计算的大量时间开销，Spark RDD设计了包含多种存储级别的缓存和持久化机制，主要有三个概念：cache、persist、checkout。 1、存储级别介绍（StorageLevel） 存储级别以一个枚举类StorageLevel定义，分为以下几种： ...
分类：
系统相关 时间：
2020-03-30 12:43:50
阅读次数：
102
原创itcats_cn 最后发布于2018-09-05 21:07:27 阅读数 5135 收藏展开实现redis高可用机制的一些方法：保证redis高可用机制需要redis主从复制、redis持久化机制、哨兵机制、keepalived等的支持。 主从复制的作用：数据备份、读写分离、分布式集群、实现 ...
分类：
其他好文 时间：
2020-03-26 19:53:12
阅读次数：
84
Redis支持RDB与AOF两种持久化机制，持久化可以避免因进程异常退出或down机导致的数据丢失问题，在下次重启时能利用之前的持久化文件实现数据恢复。 RDB持久化 RDB持久化即通过创建快照（压缩的二进制文件）的方式进行持久化，保存某个时间点的全量数据。RDB持久化是Redis默认的持久化方式。 ...
分类：
其他好文 时间：
2020-03-12 00:00:44
阅读次数：
75
Redis提供了两种持久化方案：RDB持久化和AOF持久化，一个是快照的方式，一个是类似日志追加的方式 RDB快照持久化 RDB持久化是通过快照的方式，即在指定的时间间隔内将内存中的数据集快照写入磁盘。在创建快照之后，用户可以备份该快照，可以将快照复制到其他服务器以创建相同数据的服务器副本，或者在重 ...
分类：
数据库 时间：
2020-03-02 18:58:48
阅读次数：
71
为什么要进行持久化 为了避免MQ服务器意外宕机导致数据丢失，需要做到重启后没有被消费的数据依然在消息队列中。 ActiveMQ的持久化机制包含： 1. JDBC：持久化到数据库 2. AMQ：日志文件 3. KahaBD：AMQ基础上改进，默认选择 4. LevelDB：谷歌K/V数据库 注：Act ...
分类：
其他好文 时间：
2020-03-01 20:12:10
阅读次数：
122
[toc] RDB 持久化机制的优点 1. 适合做冷备 RDB 会生成多个数据文件，每个数据文件都代表了某一个时刻中 redis 的数据，这种多个数据文件的方式，非常适合做冷备，可以将这种完整的数据文件发送到一些远程的安全存储上去，如云上，以预定好的备份策略来定期备份 redis 中的数据 2. 性 ...
分类：
数据库 时间：
2020-02-29 13:14:04
阅读次数：
113
[toc] 我们已经知道对于一个企业级的 redis 架构来说，持久化是不可减少的 tip 牢记企业级 redis 集群架构是用来支撑海量数据、高并发、高可用 持久化主要是做灾难恢复、数据恢复，也可以归类到高可用的一个环节里面去 比如你 redis 整个挂了，redis 就不可用了，你要做的事情是让 ...
分类：
数据库 时间：
2020-02-29 12:58:37
阅读次数：
79
1、Redis数据持久化的必要性 由于redis是基于内存的数据库，面临数据掉电易失的风险，要避免数据丢失，最好将内存数据持久化到磁盘等永久存储介质上。服务重启时，会先加载磁盘文件内的数据到内存，完成数据恢复。 2、RDB（RedisDB） 对内存中的redis全量数据进行 时点快照 并序列化，以文 ...
分类：
其他好文 时间：
2020-02-20 19:53:08
阅读次数：
68
Redis支持RDB和AOF两种持久化机制，持久化功能有效地避免因进程退出造成的数据丢失问题，当下次重启时利用之前持久化的文件即可实现数 据恢复。理解掌握持久化机制对于Redis运维非常重要 1.RDB持久化 RDB持久化是把当前进程数据生成快照保存到硬盘的过程，触发RDB持久化过程分为手动触发和自 ...
分类：
其他好文 时间：
2020-02-09 11:13:21
阅读次数：
60
面试题 redis 的持久化有哪几种方式？不同的持久化机制都有什么优缺点？持久化机制具体底层是如何实现的？ 面试官心理分析 redis 如果仅仅只是将数据缓存在内存里面，如果 redis 宕机了再重启，内存里的数据就全部都弄丢了啊。你必须得用 redis 的持久化机制，将数据写入内存的同时，异步的慢 ...
分类：
其他好文 时间：
2020-01-30 17:38:01
阅读次数：
68
