Centos7.x 搭建RTSP流处理环境 服务器环境 服务器 centos 7 目前版本 "下载地址" ) 安装nginx & nginx rtmp module 1. "官网" )下载 nginx 目前版本 "下载地址" 2. 下载依赖 pcre 目前版本 "下载地址" 使用 pcre2 ngi ...
分类：
其他好文 时间：
2020-02-09 13:12:50
阅读次数：
243
例子：往一个文件内写东西 以前的写法，总是在流处理的最后都需要finally关闭资源，这样多了就会觉得很麻烦 private static void oldtest(String filePath) throws FileNotFoundException { OutputStream out = ...
分类：
编程语言 时间：
2020-02-08 13:54:48
阅读次数：
172
我们先来以滚动时间窗口为例，来看一下窗口的几个时间参数与Flink流处理系统时间特性的关系。获取窗口开始时间Flink源代码获取窗口的开始时间为以下代码：org.apache.flink.streaming.api.windowing.windows.TimeWindow/** * Method t... ...
分类：
其他好文 时间：
2020-02-07 01:15:39
阅读次数：
143
数据密集型应用特点 需求 存储数据，以便自己或其他应用程序之后能再次找到——数据库 记住开销昂贵操作的结果，加快读取速度——缓存 允许用户按关键字搜索数据，或以各种方式对数据进行过滤——搜索索引 向其他进程发送消息，进行异步处理——流处理 定期处理累积的大批量数据——批处理 关于数据系统的思考 数据 ...
分类：
其他好文 时间：
2020-01-29 10:34:29
阅读次数：
122
目录 简介 Kafka架构 Kafka存储策略 Kafka删除策略 Kafka broker Kafka Design The Producer The Consumer 复制（Replication） 日志压缩（Log Compaction） Distribution Zookeeper协调控制 ...
分类：
其他好文 时间：
2020-01-26 19:24:21
阅读次数：
67
遇到cuda程序，开始理解学习cuda概念及使用 Cuda 有硬件概念 SP (streaming processor)，SM(streaming multiprocessor) 有方便编程的软件概念thread, blocks, grid 各个概念的解释： SP：流处理器，最基本的处理单元，也称为 ...
分类：
其他好文 时间：
2020-01-26 13:10:26
阅读次数：
126
许多大厂使用flin + storm.spart/storm是批处理大数据，flink是流处理大数据。也就是说支持增量的更新，不用牵一发而动全身，实施更改。 安装和部署。 可以用kubernates管理cluster，把程序部署到集群中。也可以部署到本地虚拟机。 nc -l -p 9000,然后输入 ...
分类：
其他好文 时间：
2020-01-24 17:11:00
阅读次数：
91
Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布 ...
分类：
其他好文 时间：
2020-01-21 19:49:30
阅读次数：
71
Spark Streaming对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理； 流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模； ...
分类：
其他好文 时间：
2020-01-19 22:12:37
阅读次数：
148
zeebe 的迭代还是比较快的，就是四个小时之后发布了0.22 （0.22.0 与0.22.1 同时发布。。。。） 目前0.22 底层存储的逻辑与以前的版本是破坏性的变动（不兼容），有空了进行下压测，还是比较 期待新版本的，支持了好多新的工作流处理，相关介绍可以参考https://zeebe.io/ ...
分类：
其他好文 时间：
2020-01-17 23:04:26
阅读次数：
71
