1】Receiver是使用高层次的consumer Api来实现的。 receiver 接收的消息都是存储在spark Executor中的，然后spark启动jobq去处理那些消息 然而，默认情况下，这种方式会因为底层的失败丢失数据。 如果要启用高可靠机制，让数据零丢失，就必须启用spark st ...
分类：
其他好文 时间：
2020-04-20 11:59:44
阅读次数：
64
协议 流实时消息协议（RTMP），Apple HTTP Live Streaming（HLS）和基于HTTP的动态自适应流（DASH）视频格式。 nginx rtmp模块 Put the load_module directive in the top?level (“main”) context ...
分类：
其他好文 时间：
2020-04-14 22:16:14
阅读次数：
74
创建完成Flink QuickStart 项目后，如果直接导入IDEA中运行或调试会报出如下错误 Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.api.datastream.DataStream 这是由 ...
分类：
其他好文 时间：
2020-04-13 12:16:54
阅读次数：
404
ylbtech-System.Runtime.Serialization.ISerialization.cs 1.返回顶部 1、 #region 程序集 mscorlib, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e0 ...
分类：
其他好文 时间：
2020-04-11 00:25:59
阅读次数：
77
1. Transformations 1.1 map(fun) 操作 map操作需要传入一个函数当做参数, 主要作用是，对DStream对象a，将func函数作用到a中的每一个元素上并生成新的元素，得到的DStream对象b中包含这些新的元素。 val conf = new SparkConf(). ...
分类：
其他好文 时间：
2020-04-10 12:21:06
阅读次数：
87
背景 1）试试本地模式的spark streaming 2）试试yarn模式的spark streaming 1、本地模式的spark streaming 代码如下： package com.hxh import org.apache.spark.SparkConf import org.apach ...
分类：
其他好文 时间：
2020-04-03 19:55:21
阅读次数：
63
推流 就是将采集到的音频、视频数据通过流媒体协议发送到流媒体服务器。推流对这个直播链路影响非常大，如果推流的网络不稳定，无论我们如何做优化，观众的体验都会很糟糕，所以也是我们排查问题的第一步。推送协议主要有三种： （1）RTSP（Real Time Streaming Protocol）：实时流传送 ...
分类：
其他好文 时间：
2020-04-03 12:00:53
阅读次数：
81
最近（以及预感接下来的一年）会读很多很多的paper......不如开个帖子记录一下读paper心得 New Hardware / non volatile memory .... Streaming .... Cloud / Distributed PolarFS: An Ultra-low La ...
分类：
数据库 时间：
2020-04-02 00:54:56
阅读次数：
96
一、背景 在爬虫方面包括图片，文字，视频，音频等的获取。受到速度的限制，视频的爬取较为麻烦，因为视频是进行切片处理的采取的方式是hls，这是苹果公司制定的一个方案。它会把内容切片，用.m3u8进行组织，在m3u8里面记录了断点的位置，将所有的片段下载下来在拼接就可以连接成整个视频。目前较大的视频都是 ...
分类：
编程语言 时间：
2020-03-31 18:43:18
阅读次数：
1475
1、啥是Window？Window有啥作用？ Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这 ...
