Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。
Storm也可被用于“连续计算”（continuous
computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“..
分类：
Web程序 时间：
2017-03-04 14:30:59
阅读次数：
208
Java 流在处理上分为字符流和字节流。字符流处理的单元为 2 个字节的 Unicode 字符，分别操作字符、字符数组或字符串，而字节流处理单元为 1 个字节，操作字节和字节数组。 Java 内用 Unicode 编码存储字符，字符流处理类负责将外部的其他编码的字符流和 java 内 Unicode ...
分类：
编程语言 时间：
2017-02-21 17:02:08
阅读次数：
221
2011年，Twitter发布了开源的分布式流计算系统Storm。四年后，随着用户数量的急剧增加，Twitter每天要处理的事件已经增加到十亿以上。Storm系统应对如此庞大而复杂多样的流数据变得十分困难。为了解决该问题，Twitter公司近期开发了一套全新的流处理系统——Heron。近日，Twit ...
分类：
其他好文 时间：
2017-02-15 14:49:50
阅读次数：
205
1.常见两种方式 漏桶算法和令牌桶算法 漏桶算法：1.有一个固定容量的漏桶，已固定的速率流出水滴。 2.可以任意速率流入水滴到漏桶 3.当漏桶满了，水溢出（相当于丢弃） 令牌桶算法： 1.以固定的速率向桶里放令牌 2.当桶内的令牌数量达到最大值后，后续放入的令牌被丢弃 3.当需要发送N个单位大小的数 ...
分类：
Web程序 时间：
2017-02-14 00:54:20
阅读次数：
270
关于流处理框架，在先前的文章汇总已经介绍过Strom，今天学习的是来自阿里的的流处理框架JStorm。简单的概述Storm就是：JStorm 比Storm更稳定，更强大，更快，Storm上跑的程序，一行代码不变可以运行在JStorm上。直白的将JStorm是阿里巴巴的团队基于Storm的二次开发产物 ...
分类：
Web程序 时间：
2017-02-13 10:42:55
阅读次数：
175
2.1为什么要介绍渲染管线？??在微软DirectX10.0规范的统一渲染架构发布以前，渲染管线曾经是选购显卡的一项重要指标。然而采用流处理器渲染架构，由于硬件工作效率更高,目前已经逐渐取代了采用渲染...
分类：
其他好文 时间：
2017-02-08 11:57:48
阅读次数：
366
DataStream API所编写的流处理应用程序在生成作业图（JobGraph）并提交给JobManager之前，会预先生成流图（StreamGraph）。
分类：
其他好文 时间：
2017-02-06 11:17:09
阅读次数：
312
1. 什么是流处理
一种被设计来处理无穷数据集的数据处理系统引擎
2. 流处理的几个概念
1. 无穷数据（Unbounded data）：一种持续生成，本质上是无穷尽的数据集。它经常...
分类：
其他好文 时间：
2017-01-23 15:40:07
阅读次数：
243
常用限流处理的几种方式: 1.通过限制单位时间段内调用量来限流 2.通过限制系统的并发调用程度来限流 3.使用漏桶（Leaky Bucket）算法来进行限流 4.使用令牌桶（Token Bucket）算法来进行限流 1通过限制单位时间段内调用量来限流: 通过限制某个服务的单位时间内的调用量来进行限流 ...
分类：
其他好文 时间：
2017-01-22 18:11:22
阅读次数：
321
kafka基础kafka有四个核心API：应用程序使用ProducerAPI发布消息到1个或多个topic（主题）。应用程序使用ConsumerAPI来订阅一个或多个topic，并处理产生的消息。应用程序使用StreamsAPI充当一个流处理器，从1个或多个topic消费输入流，并生产一个输出流到1个或多个输出topic，..
分类：
其他好文 时间：
2017-01-19 13:14:22
阅读次数：
264
