checkpoint 文件夹 Tensorflow训练后的模型可以保存checkpoint文件，checkpoint文件是结构与权重分离的四个文件，便于训练。 1）checkpoint 文件 保存断点文件列表，可以用来迅速查找最近一次的断点文件； model_checkpoint_path: "mo ...
分类：
其他好文 时间：
2019-10-20 12:52:10
阅读次数：
84
模型保存后产生四个文件，分别是： |--models| |--checkpoint| |--.meta| |--.data| |--.index .meta保存的是图的结构 checkpoint文件是个文本文件，里面记录了保存的最新的checkpoint文件以及其它checkpoint文件列表。 . ...
分类：
其他好文 时间：
2019-10-16 18:15:14
阅读次数：
110
ReadFromJDQ3 1）消费JDQ的必要信息，通过参数传入，有6个参数 2）获取flink JDQ3的鉴权客户端 3）根据鉴权客户端获取消费属性的配置 4）构建应用环境ENV和checkpoint机制 5）构建JDQ3（基于kafka）对应的消费客户端，flink用来消费实时订单消息 6) 根 ...
分类：
其他好文 时间：
2019-10-12 11:06:54
阅读次数：
106
暂存模型（*.index为参数名称，*.meta为模型图，*.data*为参数） 暂存模型（同一模型多次保存可以不保存模型图节省时间） 恢复模型（手动生成网络则不需要*.meta文件） 恢复模型（从*.meta文件生成网络） 恢复模型（可以在一个文件夹下保存多次模型，checkpoint文件会自动记 ...
分类：
其他好文 时间：
2019-10-03 22:00:37
阅读次数：
138
1.从checkpoint中获取全部的变量名和变量值 2.清除 tf.Session tf.reset_default_graph() 重置计算图 3. ...
分类：
其他好文 时间：
2019-09-27 12:18:30
阅读次数：
67
简介 Flink本身为了保证其高可用的特性，以及保证作用的Exactly Once的快速恢复，进而提供了一套强大的Checkpoint机制。 Checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前 ...
分类：
其他好文 时间：
2019-09-19 00:59:30
阅读次数：
148
step1:在VMworkstation中创建虚拟机向导，选择Linux2.6内核64位如下图：虚拟机的配置建议如下：RAM：至少8GBDisk:120GCPU：四核step2:使用IOS文件引导后如下图：step3：进行硬盘分区，按默认即可，如下图：step4：设置admin的密码，如下图：step5：设置管理IP，如下图：step6：安装结束后重启，用浏览器登录进行初始化：
分类：
其他好文 时间：
2019-09-15 01:52:57
阅读次数：
114
伪分布式环境： HA环境checkpoint机制 配置了HA的HDFS中，有active和standby namenode两个namenode节点。他们的内存中保存了一样的集群元数据信息，因为standby namenode已经将集群状态存储在内存中了，所以创建检查点checkpoint的过程只需要 ...
分类：
其他好文 时间：
2019-09-14 22:23:28
阅读次数：
122
checkpoint是Flink容错的核心机制。它可以定期地将各个Operator处理的数据进行快照存储（ Snapshot ）。如果Flink程序出现宕机，可以重新从这些快照中恢复数据。 1. checkpoint coordinator（协调器）线程周期生成 barrier （栅栏），发送给每一 ...
分类：
其他好文 时间：
2019-08-31 19:39:24
阅读次数：
114
ibdata1->checkpoint lsn->5.5 1.拿到ibdata1中checkpoint lsn位置 2.在redo中比对那些比checkpoint lsn大的位置的redo， a.已经commit带有xid,filename,pos的，表示InnoDB已经提交，但是没有持久化到ibd ...
分类：
数据库 时间：
2019-07-24 00:32:10
阅读次数：
133
