1.说明 针对需要恢复的应用场景，提供了HA的的机制 内部实现原理：基于checkpoint的 当程序被kill的时候，下次恢复的时候，会从checkpoint对用的文件中进行数据的恢复 2.注意点 SparkStreaming 的HA和updateStateByKey来记录历史数据的API不能一起 ...
分类：
其他好文 时间：
2018-08-12 21:28:08
阅读次数：
144
1、首先读取ControlFile->checkPoint指向的checkpoint2、如果读取失败，slave直接abort退出，master再次读取ControlFile->prevCheckPoint指向的checkpointStartupXLOG->|--checkPointLoc=ControlFile->checkPoint;|--record=ReadChec
分类：
数据库 时间：
2018-08-05 19:37:16
阅读次数：
186
StartupLOG::->record=ReadCheckpointRecord(xlogreader,ControlFile->checkPoint,1,true)->record=ReadRecord(xlogreader,ControlFile->checkPoint,LOG,true)->record=XLogReadRecord(xlogreader,Co
分类：
数据库 时间：
2018-08-04 21:44:05
阅读次数：
189
tf.train.Supervisor()可以帮我们简化一些事情，可以保存模型参数和Summary，它有以下的作用： 1）自动去checkpoint加载数据或初始化数据 ，因此我们就不需要手动初始化或者从checkpoint中加载数据 2）自身有一个Saver，可以用来保存checkpoint，因此 ...
分类：
其他好文 时间：
2018-07-31 17:18:02
阅读次数：
160
简单描述一下mysql 检查点，对mysql数据库恢复的理解有所帮助。 数据库版本 检查点查看 Last checkpoint就是检查点的位置，在数据库并不繁忙的时候，可以看到Log sequence number，Log flushed,Pages flushed的位置接近或相等。当数据库DML操 ...
分类：
数据库 时间：
2018-07-26 18:24:59
阅读次数：
469
输入手写数字图片输出识别结果 一、断点续训 关键处理：加入ckpt操作： 1、注解： 1）tf.train.get_checkpoint_state(checkpoint_dir,latest_filename=None) 该函数表示如果断点文件夹中包含有效断点状态文件，则返回该文件。 参数说明：c ...
分类：
其他好文 时间：
2018-07-25 23:56:25
阅读次数：
320
可以基于checkpoint恢复offset－－－－－－－－－＞Ｄｒｉｖｅｒ ＨＡ ...
分类：
其他好文 时间：
2018-07-22 14:12:32
阅读次数：
122
为什么可以基于checkpoint可以恢复offset？－－－－－－＞Driver HA package com.bjsxt.sparkstreaming;import scala.Tuple2; /** * * Spark standalone or Mesos with cluster depl ...
分类：
其他好文 时间：
2018-07-22 14:05:35
阅读次数：
198
lagDG查看当前数据文件头最小的scn号：selectmin(to_char(CHECKPOINT_CHANGE#))fromv$datafile_headerff;增备脚本：rmantarget/<<EOFrun{allocatechannelc1typedisk;allocatechannelc2typedisk;allocatechannelc3typedisk;allocat
分类：
其他好文 时间：
2018-07-16 17:17:13
阅读次数：
146
假设我们只保存了模型的参数(model.state_dict())到文件名为modelparameters.pth, model = Net() 1. cpu -> cpu或者gpu -> gpu: checkpoint = torch.load('modelparameters.pth') mod ...
分类：
其他好文 时间：
2018-07-15 00:16:29
阅读次数：
215
