本文参考内容: https://www.mindspore.cn/doc/programming_guide/zh-CN/r1.2/advanced_usage_of_checkpoint.html?highlight=save_checkpoint 有官方文档内容可知,我们对网络参数的保存不仅可以 ...
分类:
其他好文 时间:
2021-07-12 18:27:04
阅读次数:
0
一、关于TableException的问题 [ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.TableException: Sink `catalog_1`.`mydb`.`region_sales ...
分类:
其他好文 时间:
2021-05-24 08:49:39
阅读次数:
0
.NET Core + K8S + Loki 玩转日志聚合 1. Intro 最近在了解日志聚合系统,正好前几天看到一篇文章《用了日志系统新贵Loki,ELK突然不香了!》,所以就决定动手体验一下。本文就带大家快速了解下Loki,并简单介绍.NET Core如何集成Loki。 2. What's L ...
分类:
Web程序 时间:
2021-04-06 14:12:52
阅读次数:
0
配置文件 flume-taildir-logger.conf: # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1. ...
分类:
其他好文 时间:
2021-03-08 13:38:15
阅读次数:
0
近日,Hudi社区合并了 Flink 引擎的基础实现(HUDI-1327),这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据,sink到 COW 类型的 Hudi 表中,其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数 ...
分类:
其他好文 时间:
2021-03-04 13:29:01
阅读次数:
0
import java.io.IOException; import java.nio.ByteBuffer; import java.nio.channels.Pipe; import org.junit.Test; public class TestPipe { @Test public voi ...
分类:
其他好文 时间:
2021-01-18 11:00:46
阅读次数:
0
知识点 Table API 和 SQL 的程序结构,与流式处理的程序结构类似;也可以近似地认为有这么 几步:首先创建执行环境,然后定义 source、transform 和 sink。 1、依赖:Table API 和 SQL 需要引入的依赖 <!-- old planner flink table ...
分类:
其他好文 时间:
2021-01-14 10:44:32
阅读次数:
0
在公司加班持续了半年冲刺,将miracastaosp实现通过ndk完全解耦出来相对于原生方案改动:audiorecord通过java获取再传递给Native与视频流再一起打包;codecinputsurface直接与virtualdisplay关联,这种方式没法控制视频帧率(surfacemediasource那套没法直接通过ndk实现)针对低延迟,主要依赖sink端实现,去除sink端ffmpe
分类:
其他好文 时间:
2020-11-01 21:30:19
阅读次数:
26
前两天试了下 Flink SQL 写 Hive,对 Sink 部分写数据到 HDFS 的部分比较疑惑,特别是基于 checkpoint 的文件提交,所以看了下 StreamingFileSink 的源码(Flink SQL 写 hive 复用了这部分代码) StreamingFileSink 是 1 ...
分类:
其他好文 时间:
2020-11-01 20:49:03
阅读次数:
18
fink slink 后的数据被复写了??? 生产环境总会遇到各种各样的莫名其名的数据,一但考虑不周便是车毁人亡啊。 线上sink 流是es , es 的文档id 是自定义的 id+windowSatarTime 设window size = 10min , watermark 最大延迟时间是 10 ...
分类:
其他好文 时间:
2020-10-22 22:23:47
阅读次数:
26