Flink可靠性的基石-checkpoint机制详细解析 Checkpoint介绍 checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保 证应用流图状态的一致性。Flink的ch ...
分类:
其他好文 时间:
2021-06-02 14:37:17
阅读次数:
0
一天下午,在给线上一个小表加个字段,发现老是加不上去,一直卡死。运维同学突然跑过来跟我说,线上数据库这半个小时一直在重启,问我是否有做什么操作。我当时虎躯一震,总共100多行的小表加个字段都加出问题了?我立马停止尝试加字段,果然数据库恢复正常了。后面查到原因,也顺利加上字段,现在来复盘总结一下。 先 ...
分类:
数据库 时间:
2021-06-02 14:04:46
阅读次数:
0
ZooKeeper 是一个高可用的分布式数据管理与系统协调框架。基于对 Paxos 算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得 ZooKeeper 解决很多分布式问题。 下面对 ZK 的应用场景迚行一个分门归类的介绉。 一、数据发布与订阅(配置中心) 发布与订阅 ...
分类:
其他好文 时间:
2021-06-02 13:47:13
阅读次数:
0
此内容参考蒋德钧老师将讲义 Redis具有高可靠性,具有两层含义:一是数据尽量少丢失,二是服务尽量少中断。AOF和RDB保证了前者,而对于后者,redis的做法是增加副本冗余,将一份数据同时保存在多份实例上。即使有一个实例出现了宕机,需要一段时间才能恢复,其他实例也可以对外提供服务,不会影响业务使用 ...
分类:
其他好文 时间:
2021-06-02 11:06:51
阅读次数:
0
前言 机器学习中,我们不能将全部数据用于模型训练,否则将没有数据集对模型进行验证,从而无法评估模型的预测效果。 验证集方法 整个数据集分成两部分:一部分用于训练,一部分用于验证,即训练集(training set)和测试集(test set)。 如上图所示,将左侧数据作为训练集(包含7、22、13等 ...
分类:
其他好文 时间:
2021-05-24 15:36:16
阅读次数:
0
BASE是对CAP中一致性和可用性权衡的结果,是基于CAP定律逐步演化而来。其核心思想是即使无法做到强一致性,但每个应用都可以根据自身业务特点,才用适当的方式来使系统打到最终一致性。 BASE理论: 基本可用(Basically Available):出现故障后系统出现响应时间上损失、功能上损失(部 ...
分类:
其他好文 时间:
2021-05-24 09:50:37
阅读次数:
0
1.预处理概念:编译程序时,编译器将对程序文件作至少两个阶段的编译预处理,预处理程序预处理阶段和编译程序预处理阶段。 预处理程序预处理阶段:C预处理程序先于C编译程序运行。预处理程序从前向后根据预处理命令做相应的处理。预处理命令分为三类: ①文件包含命令 ②宏定义命令 ③条件编译命令 编译程序预处理 ...
分类:
编程语言 时间:
2021-05-24 04:23:51
阅读次数:
0
1. 应用场景 根据临床诊断进行编码 根据疾病编码优化主诊断及次诊断 进行DRGs/DIP预分组,避免编码低套,使医疗收入最优化 验证编码之间及编码与病案之间一致性 2. 编码原则 建立多组编码体系,如临床版ICD10,医保版ICD10等; 构建ICD10第三卷索引表; 建立语义库(含概念、术语、关 ...
分类:
其他好文 时间:
2021-05-24 04:23:05
阅读次数:
0
背景 为了简化服务器主机的浏览器版本的一致性、运维环境下的端口影响等问题,对基本的维护可以只通过SSH端口进行 使用X11中转功能,在服务器上运行浏览器,登录主机的SSH客户端这里可以直接看到服务器运行的chrome界面进行操作 达到的效果 客户端不用安装浏览器,产品的兼容性问题时我们发布的机器上即 ...
分类:
系统相关 时间:
2021-05-24 03:20:41
阅读次数:
0
CAP 2000年Eric Brewer在ACM研讨会上提出的猜想:一致性(Consistency)、可用性(Availability)、分区容错(Partition-tolerance),三者无法在分布式系统中被同时满足,并且最多只能满足其中两个。 2003年MIT的Lynch证明了这三者确实是不 ...
分类:
其他好文 时间:
2021-05-24 03:01:36
阅读次数:
0