码迷,mamicode.com
首页 > 其他好文 > 详细

flink checkpoints

时间:2020-09-17 19:08:07      阅读:22      评论:0      收藏:0      [点我收藏+]

标签:height   img   and   应用程序   alt   amp   数据处理   src   image   

一致性检查点(checkpoints)

技术图片

  • flink故障恢复机制的核心,就是应用状态的一致性检查点
  • 有状态流应用的一致性检查点,其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照);这个时间点,应该是所有任务都恰好处理完一个相同的输入数据的时候

从检查点恢复状态

技术图片

  • 在执行流应用程序期间,flink会定期保存状态的一致检查点
  • 如果发生故障,flink将会使用最近的检查点来一致恢复应用程序的状态,并重新启动处理流程

技术图片

  • 遇到故障之后,第一步就是重启应用

技术图片

  • 第二步是从checkpoint中读取状态,将状态重置
  • 从检查点重新启动应用程序后,其内部状态与检查点完成时的状态完全相同

技术图片

  • 第三步:开始消费并处理检查点到发生故障之间的所有数据
  • 这种检查点的保存和恢复机制可以为用用程序状态提供“精确一次”(exactly-once)的一致性,因为所有算子都会保存检查点并恢复其所有状态,这样一来所有的输入流就都会被重置到检查点完成时的位置

检查点的实现算法

  • 一种简单的想法

    暂停应用,保存状态到检查点,再恢复应用

  • flink的改进实现

    基于Chandy-Lamport算法的分布式快照

    将检查点的保存和数据处理分离开,不暂停整个应用

flink检查点算法

  • 检查点分界线(Checkpoint Barrier)
  • flink的检查点算法用到了一种称为分界线(barrier)的特殊数据形式,用来把一条流上数据按照不同的检查点分开
  • 分界线之前到来的数据导致的状态更改,都会被包含在当前分界线所属的检查点中;而基于分界线之后的数据导致的所有更改,就会被包含在之后的检查点中

技术图片

  • 现在是一个有两个输入流的应用程序,用并行的两个source任务来读取

技术图片

  • jobmanage会向每个source任务发送一条带有新检查点ID的消息,通过这种方式来启动检查点

技术图片

  • 数据源将他们的状态写入检查点,并发出一个检查点barrier
  • 状态后段在状态存入检查点之后,会返回通知给source任务,source任务就会向jobmanager确认检查点完成

技术图片

  • 分界线对齐:barrier向下游传递,sum任务会等待所有输入分区的barrier到达
  • 对于barrier已经到达的分区,继续到达的数据会被缓存
  • 而barrier尚未到达的分区,数据会被正常处理

技术图片

  • 当收到所有输入分区的barrier时,任务就将其状态保存到状态后端的检查点中,然后将barrier继续向下游转发

技术图片

  • 向下游转发检查点barrier后,任务继续正常的数据处理

技术图片

  • sink任务向jobmanager确认状态保存到checkpoint完毕
  • 当所有任务都确认已成功将状态保存到检查点时,检查点就真正完成了

保存点(savepoints)

  • flink还提供了可以自定义的镜像保存功能,就是保存点(savepoints)
  • 原则上,创建保存点使用的算法与检查点完全相同,因此保存点可以认为就是具有一些额外元数据的检查点
  • flink不会自动创建保存点,因此用户(或者外部调度程序)必须明确地出发创建操作
  • 保存点时一个强大的功能。除了故障恢复外,保存点可以用于;用计划的手动备份,更新应用程序,版本迁移,暂停和重启应用

检查点配置

// checkpoint相关配置
//启用检查点,指定触发检查点间隔时间(毫秒)
env.enableCheckpointing(1000L)
//其他配置
env.getCheckpointConfig.setCheckpointMode(CheckpointMode.EXACTLY_ONCE)
env.getCheckpointConfig.setCheckpointTimeOut(30000L)
env.getCheckpointConfig.setMaxConcurrentCheckpoints(2)
env.getCheckpointConfig.setMinPauseBetweenCheckpoints(500L)
env.getCheckpointConfig.setPreferCheckpointForRecovery(false)
env.getCheckpointConfig.setTolerableCheckpointFailureNumber(3)

 

flink checkpoints

标签:height   img   and   应用程序   alt   amp   数据处理   src   image   

原文地址:https://www.cnblogs.com/south-pigeon/p/13636331.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!