1. 从 ckpt .data,ckpt .index 和 .meta 生成 frozenpb 2. 从网络代码和 ckpt .data 文件生成 frozenpb 3. 打印 网络中节点的名字 或者通过 4. 两种方法对比 如果是自己的代码训练的模型，有网络结构，有 ckpt 文件，最好是使用第二 ...
分类：
其他好文 时间：
2020-01-15 14:11:48
阅读次数：
121
+ HDFS 写文件 + 网络拓扑 节点距离计算 + HDFS读流程 + NN和2NN工作机制 + Fsimage和Edits解析 + CheckPoint时间设置 + NameNode故障后的数据恢复 HDFS 数据流 HDFS 写文件 1）客户端通过Distributed FileSystem模 ...
分类：
其他好文 时间：
2020-01-08 18:45:59
阅读次数：
95
这里将介绍Flink对有状态计算的支持，其中包括状态计算和无状态计算的区别，以及在Flink中支持的不同状态类型，分别有 Keyed State 和 Operator State 。另外针对状态数据的持久化，以及整个 Flink 任务的数据一致性保证，Flink 提供了 Checkpoint 机制处 ...
分类：
其他好文 时间：
2019-12-24 18:32:48
阅读次数：
94
这里将介绍Flink对有状态计算的支持，其中包括状态计算和无状态计算的区别，以及在Flink中支持的不同状态类型，分别有 Keyed State 和 Operator State 。另外针对状态数据的持久化，以及整个 Flink 任务的数据一致性保证，Flink 提供了 Checkpoint 机制处... ...
分类：
其他好文 时间：
2019-12-24 09:20:00
阅读次数：
88
import sys import codecs import tensorflow as tf # 1.参数设置。 # 读取checkpoint的路径。9000表示是训练程序在第9000步保存的checkpoint。 CHECKPOINT_PATH = "F:\\temp\\attention_c... ...
分类：
编程语言 时间：
2019-12-19 21:35:30
阅读次数：
93
在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE，kafka使用的版本为1.1.0，flink的版本为1.8.0，但是会很经常因为提交事务引起错误，甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。
查看kafka documentation和... ...
分类：
其他好文 时间：
2019-12-16 13:10:45
阅读次数：
522
1. 实例化对象 saver = tf.train.Saver(max_to_keep=1) max_to_keep: 表明保存的最大checkpoint文件数。当一个新文件创建的时候，旧文件就会被删掉。如果值为None或0， 表示保存所有的checkpoint文件。默认值5（也就是说，保存最近的5 ...
分类：
其他好文 时间：
2019-12-16 12:53:49
阅读次数：
90
一、State 在Flink中，按照基本类型，对State做了以下两类的划分： Keyed State，和Key有关的状态类型，它只能被基于KeyedStream之上的操作，方法所使用。我们可以从逻辑上理解这种状态是一个并行度操作实例和一种Key的对应， <parallel-operator-ins ...
分类：
其他好文 时间：
2019-12-11 12:57:38
阅读次数：
219
在Tensorflow下使用SSD模型训练自己的数据集时，经过查找很多博客资料，已经成功训练出来了自己的模型，但就是在测试自己模型效果的时候，出现了如下错误。 在查找资料的过程中，出现了很多波折，百度上基本没有同样的错误， 最开始使用的代码是： 尝试过很多种方法，比如下面这种方法，改了后还是报同样的 ...
分类：
其他好文 时间：
2019-10-27 19:01:51
阅读次数：
171
PANIC: could not locate a valid checkpoint record
日志：无效的主要检查点记录
postgres 集群故障修复
分类：
其他好文 时间：
2019-10-24 10:22:59
阅读次数：
122
