package com.sjw.flink import org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.api.windowing.time.Time object WindowTest { def m ...
分类：
其他好文 时间：
2020-07-09 23:59:55
阅读次数：
253
Concept http://spark.apache.org/streaming/ Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. Ease of Use Build ap ...
分类：
其他好文 时间：
2020-07-08 13:26:09
阅读次数：
59
什么是流媒体 流媒体（streaming media）是指采用流式传输技术在网络上连续实时播放的媒体格式，如音频、视频或多媒体文件，采用流媒体技术使得数据包得以像流水一样发送, 如果没有流媒体技术, 那么我们就要像以前用迅雷下电影一样, 下载整个影片才能观看, 讲DASH之前先简单介绍一下常用的直播 ...
分类：
其他好文 时间：
2020-07-02 13:40:23
阅读次数：
172
今天测试了一下发布 WebGL 的过程, 通过 Unity3D 创建, 相当麻烦, 它不仅对API有限制, 对测试Debug有限制, 也对服务器有要求, 并且现在的浏览器都很注重安全策略, 这些都增加了复杂度... 流程大概如下: 1. 做个简单场景, 放到 BuildSettings 里面去 2. ...
分类：
Web程序 时间：
2020-06-30 17:27:03
阅读次数：
64
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的 ...
C->S OPTIONS rtsp://127.0.0.1:8554 RTSP/1.0CSeq: 2User-Agent: LibVLC/2.2.8 (LIVE555 Streaming Media v2016.02.22) C->S DESCRIBE rtsp://127.0.0.1:8554 R ...
分类：
其他好文 时间：
2020-06-29 13:32:30
阅读次数：
66
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based ...
分类：
Web程序 时间：
2020-06-27 00:19:37
阅读次数：
77
一、案例引入 这里先引入一个基本的案例来演示流的创建：获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactI ...
分类：
其他好文 时间：
2020-06-27 00:14:44
阅读次数：
62
一、流处理 1.1 静态数据处理 在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。 1.2 流 ...
分类：
其他好文 时间：
2020-06-26 20:02:43
阅读次数：
49
package test import org.apache.spark.sql.{DataFrame, ForeachWriter, Row, SparkSession} import org.apache.spark.sql.streaming.{ProcessingTime, Trigger} ...
分类：
数据库 时间：
2020-06-24 16:23:50
阅读次数：
132
