Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。 现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全 ...
分类：
其他好文 时间：
2019-05-08 21:44:54
阅读次数：
191
kafka 流处理消息队列 1. 安装 // 环境centos7，jdk8 wget https://mirrors.cnnic.cn/apache/kafka/2.2.0/kafka_2.11 2.2.0.tgz tar zxvf kafka_2.11 2.2.0.tgz cd kafka_2.1 ...
分类：
其他好文 时间：
2019-05-08 10:55:33
阅读次数：
177
Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上，它扩展了 MapReduce 模式，有效地使用更多类型的计算，其中包括交互式查询和流处理。这是一个简单的Spark教程，介绍了Spark核心编程的基础知识。 工业公司广泛的使用 Hadoop 来分析 ...
分类：
编程语言 时间：
2019-05-08 09:17:58
阅读次数：
150
一、Storm （一）什么是Storm? Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流 ...
分类：
其他好文 时间：
2019-05-01 14:59:35
阅读次数：
146
Kafka Kafka 核心概念 什么是 Kafka Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级 ...
分类：
其他好文 时间：
2019-04-27 00:30:46
阅读次数：
118
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、SparkStreaming简介SparkStreaming是流式处理框架，是Spar ...
分类：
其他好文 时间：
2019-04-18 10:51:49
阅读次数：
184
前提：简述CPU 内存 硬盘 操作系统 应用程序CPU：计算机的运算核心和控制核心，好像人类的”大脑“内存：负责数据与CPU直接数据交流处理，将临时数据和应用程序加载到内存，然后在交由CPU处理。 造价高，断电即消失硬盘：磁盘，长久的出存储数据：文件，应用程序等数据。断电不消失。文件处理速速：磁盘< ...
分类：
编程语言 时间：
2019-04-07 23:36:26
阅读次数：
212
电竞出现在人们视野中的频率越来越高了，此次选取FunData作为电竞数据平台，v1.0 beta版本主要提供由Valve公司出品的顶级MOBA类游戏DOTA2相关数据接口(详情：open.varena.com)。 本文将介绍FunData的架构演进中的设计思路及其涉及的相关技术，包括大数据流处理方案 ...
分类：
其他好文 时间：
2019-04-07 09:56:32
阅读次数：
153
1. 什么是流Java中的流是对字节序列的抽象，我们可以想象有一个水管，只不过现在流动在水管中的不再是水，而是字节序列。和水流一样，Java中的流也具有一个“流动的方向”，通常可以从中读入一个字节序列的对象被称为输入流；能够向其写入一个字节序列的对象被称为输出流 2. 字节流Java中的字节流处理的 ...
分类：
编程语言 时间：
2019-03-13 18:07:15
阅读次数：
185
音频系统工具箱?针对实时音频处理进行了优化。audioDeviceReader, audioDeviceWriter, audioPlayerRecorder, dsp.AudioFileReader和dsp.AudioFileWriter器是为流式传输多通道音频而设计的, 它们提供了必要的参数, ...
分类：
其他好文 时间：
2019-02-28 23:03:23
阅读次数：
585
