码迷,mamicode.com
首页 >  
搜索关键字:sink    ( 408个结果
在计算框架MindSpore中手动保存参数变量(Parameter 变量)—— from mindspore.train.serialization import save_checkpoint
本文参考内容: https://www.mindspore.cn/doc/programming_guide/zh-CN/r1.2/advanced_usage_of_checkpoint.html?highlight=save_checkpoint 有官方文档内容可知,我们对网络参数的保存不仅可以 ...
分类:其他好文   时间:2021-07-12 18:27:04    阅读次数:0
【flink】问题整理
一、关于TableException的问题 [ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.TableException: Sink `catalog_1`.`mydb`.`region_sales ...
分类:其他好文   时间:2021-05-24 08:49:39    阅读次数:0
.NET Core + K8S + Loki 玩转日志聚合
.NET Core + K8S + Loki 玩转日志聚合 1. Intro 最近在了解日志聚合系统,正好前几天看到一篇文章《用了日志系统新贵Loki,ELK突然不香了!》,所以就决定动手体验一下。本文就带大家快速了解下Loki,并简单介绍.NET Core如何集成Loki。 2. What's L ...
分类:Web程序   时间:2021-04-06 14:12:52    阅读次数:0
生成环境 经常使用 taildir : 支持断点续传
配置文件 flume-taildir-logger.conf: # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1. ...
分类:其他好文   时间:2021-03-08 13:38:15    阅读次数:0
Hudi on flink v0.7.0 使用遇到的问题及解决办法
近日,Hudi社区合并了 Flink 引擎的基础实现(HUDI-1327),这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据,sink到 COW 类型的 Hudi 表中,其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数 ...
分类:其他好文   时间:2021-03-04 13:29:01    阅读次数:0
NIO管道
import java.io.IOException; import java.nio.ByteBuffer; import java.nio.channels.Pipe; import org.junit.Test; public class TestPipe { @Test public voi ...
分类:其他好文   时间:2021-01-18 11:00:46    阅读次数:0
Flink之Table初探
知识点 Table API 和 SQL 的程序结构,与流式处理的程序结构类似;也可以近似地认为有这么 几步:首先创建执行环境,然后定义 source、transform 和 sink。 1、依赖:Table API 和 SQL 需要引入的依赖 <!-- old planner flink table ...
分类:其他好文   时间:2021-01-14 10:44:32    阅读次数:0
投屏工作小结
在公司加班持续了半年冲刺,将miracastaosp实现通过ndk完全解耦出来相对于原生方案改动:audiorecord通过java获取再传递给Native与视频流再一起打包;codecinputsurface直接与virtualdisplay关联,这种方式没法控制视频帧率(surfacemediasource那套没法直接通过ndk实现)针对低延迟,主要依赖sink端实现,去除sink端ffmpe
分类:其他好文   时间:2020-11-01 21:30:19    阅读次数:26
Flink StreamingFileSink 处理流程
前两天试了下 Flink SQL 写 Hive,对 Sink 部分写数据到 HDFS 的部分比较疑惑,特别是基于 checkpoint 的文件提交,所以看了下 StreamingFileSink 的源码(Flink SQL 写 hive 复用了这部分代码) StreamingFileSink 是 1 ...
分类:其他好文   时间:2020-11-01 20:49:03    阅读次数:18
flink 如何实现对watermark 的checkpoint,防止数据复写
fink slink 后的数据被复写了??? 生产环境总会遇到各种各样的莫名其名的数据,一但考虑不周便是车毁人亡啊。 线上sink 流是es , es 的文档id 是自定义的 id+windowSatarTime 设window size = 10min , watermark 最大延迟时间是 10 ...
分类:其他好文   时间:2020-10-22 22:23:47    阅读次数:26
408条   1 2 3 4 ... 41 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!