================================可用作时序的数据库:================================[时序]TimescaleDB, 基于 PostgreSQL, 支持 SQL.[时序]KairosDB, 基于 Cassandra, 不支持 SQL. ...
分类:
数据库 时间:
2020-01-12 18:38:07
阅读次数:
93
1.代码 import java.utilimport org.apache.flink.api.common.functions.RuntimeContextimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironment ...
分类:
其他好文 时间:
2020-01-10 15:57:24
阅读次数:
282
1.代码 import org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.streaming.connectors.redis.RedisSinkimport org.apac ...
分类:
其他好文 时间:
2020-01-10 14:09:06
阅读次数:
210
导读目录 第一节:sparksql 1:简介 2:核心 3:与hive整合 4:dataFrame 5:函数 第二节:spark Streaming 1:对比strom 2:DStream的算子 3:代码 4:driver HA 5:读取数据 第三节:spark调优 第一节:sparksql (1) ...
分类:
数据库 时间:
2020-01-09 20:46:58
阅读次数:
91
背景 公司一个项目的大数据平台进行改造,之前使用Structured Streaming作为实时计算框架,需要替换为替换为Kafka Streams,并使用SpringBoot包装,使其可以纳入微服务体系。然而由于之前并没有接触过SpringFramework相关技术,并且项目工期较为紧张,因此只好 ...
分类:
编程语言 时间:
2020-01-09 20:25:12
阅读次数:
100
方式一:读取文件输出到Kafka 1.代码 import org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala.StreamExecutionEn ...
分类:
其他好文 时间:
2020-01-09 19:18:07
阅读次数:
382
引用: http://shumeipai.nxez.com/2015/07/12/raspberry-pi-install-dlna-streaming-media-server.html 平板电视大都支持DLNA(Digital Living Network Alliance),一些智能电视可能无 ...
分类:
其他好文 时间:
2020-01-09 01:34:51
阅读次数:
207
系统架构介绍 整个实时监控系统的架构是先由 Flume 收集服务器产生的日志 Log 和前端埋点数据, 然后实时把这些信息发送到 Kafka 分布式发布订阅消息系统,接着由 Spark Streaming 消费 Kafka 中的消息,同时消费记录由 Zookeeper 集群统一管理,这样即使 Kaf ...
分类:
其他好文 时间:
2020-01-07 11:44:25
阅读次数:
100
实时视频的几种协议: 1)HLS (HTTP Live Streaming) 直播 是有苹果提出的一个基于http的协议。其原理是把整个流切分成一个个的小视频文件,然后通过一个m3u8的文件列表来管理这些视频文件2)rtsp协议:3)WebRTC协议: 视频融合:http://www.convers ...
分类:
其他好文 时间:
2020-01-06 09:50:39
阅读次数:
434
spark-streaming对接kafka有两种方式:1.基于receiver的方式,属于高级API,简单但是效率低,容易丢失数据(可以设置WAL)。它的原理是:receiver从kafka拉取数据存储到executor的内存中,spark-streaming启动job处理数据。偏移量保存在zoo ...
分类:
其他好文 时间:
2020-01-03 14:07:49
阅读次数:
84