创建完成Flink QuickStart 项目后，如果直接导入IDEA中运行或调试会报出如下错误 Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.api.datastream.DataStream 这是由 ...
分类：
其他好文 时间：
2020-04-13 12:16:54
阅读次数：
404
ylbtech-System.Runtime.Serialization.ISerialization.cs 1.返回顶部 1、 #region 程序集 mscorlib, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e0 ...
分类：
其他好文 时间：
2020-04-11 00:25:59
阅读次数：
77
1. Transformations 1.1 map(fun) 操作 map操作需要传入一个函数当做参数, 主要作用是，对DStream对象a，将func函数作用到a中的每一个元素上并生成新的元素，得到的DStream对象b中包含这些新的元素。 val conf = new SparkConf(). ...
分类：
其他好文 时间：
2020-04-10 12:21:06
阅读次数：
87
背景 1）试试本地模式的spark streaming 2）试试yarn模式的spark streaming 1、本地模式的spark streaming 代码如下： package com.hxh import org.apache.spark.SparkConf import org.apach ...
分类：
其他好文 时间：
2020-04-03 19:55:21
阅读次数：
63
推流 就是将采集到的音频、视频数据通过流媒体协议发送到流媒体服务器。推流对这个直播链路影响非常大，如果推流的网络不稳定，无论我们如何做优化，观众的体验都会很糟糕，所以也是我们排查问题的第一步。推送协议主要有三种： （1）RTSP（Real Time Streaming Protocol）：实时流传送 ...
分类：
其他好文 时间：
2020-04-03 12:00:53
阅读次数：
81
最近（以及预感接下来的一年）会读很多很多的paper......不如开个帖子记录一下读paper心得 New Hardware / non volatile memory .... Streaming .... Cloud / Distributed PolarFS: An Ultra-low La ...
分类：
数据库 时间：
2020-04-02 00:54:56
阅读次数：
96
复制-Kafka的核心复制功能是Kafka架构的核心。在Kafka的文档里,Kafka把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。复制之所以这么关键,是因为它可以在个别节点失效时仍能保证Kafka的可用性和持久性。Kafka使用主题来组织数据,每个主题被分为若干个分区,每个分区有多 ...
分类：
其他好文 时间：
2020-04-01 16:20:42
阅读次数：
64
一、背景 在爬虫方面包括图片，文字，视频，音频等的获取。受到速度的限制，视频的爬取较为麻烦，因为视频是进行切片处理的采取的方式是hls，这是苹果公司制定的一个方案。它会把内容切片，用.m3u8进行组织，在m3u8里面记录了断点的位置，将所有的片段下载下来在拼接就可以连接成整个视频。目前较大的视频都是 ...
分类：
编程语言 时间：
2020-03-31 18:43:18
阅读次数：
1475
1、啥是Window？Window有啥作用？ Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这 ...
我的问题：部署k8s时，kubelet一直无法启动。 [root@jm228 ~]# kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs --ignore-preflight-errors=all | tee k ...
分类：
其他好文 时间：
2020-03-27 19:54:57
阅读次数：
225
