2011年，Twitter发布了开源的分布式流计算系统Storm。四年后，随着用户数量的急剧增加，Twitter每天要处理的事件已经增加到十亿以上。Storm系统应对如此庞大而复杂多样的流数据变得十分困难。为了解决该问题，Twitter公司近期开发了一套全新的流处理系统——Heron。近日，Twit ...
分类：
其他好文 时间：
2017-02-15 14:49:50
阅读次数：
205
SWMM模型产流计算中，有一个比较重要的参数就是子汇水区的特征宽度（width），这个参数对地表汇流时间和峰值有一定的影响。子汇水区特征宽度的计算方法有很多，这里介绍比较常用的两种： （1）采用面积除以流长的方法：流长可以假定为子汇水区边界上距离子汇水区出口最远的那一点至出口的距离，然后根据子汇水区 ...
分类：
其他好文 时间：
2017-01-05 09:03:27
阅读次数：
448
转载标明出处：http://www.cnblogs.com/adealjason/p/6240122.html 最近想玩一下流计算，先看了flume的实现原理及源码 源码可以去apache 官网下载 下面整理下flume的原理及代码实现： flume是一个实时数据收集工具，hadoop的生态圈之一， ...
分类：
Web程序 时间：
2016-12-31 20:46:48
阅读次数：
582
1 Storm介绍 Storm是由Twitter开源的分布式、高容错的实时处理系统，它的出现令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。 在Storm的集群里面有两种节点：控制节点(Mas ...
分类：
其他好文 时间：
2016-12-30 09:25:22
阅读次数：
628
集群（Cluster） 指一组计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信，实现分布式计算。在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。 集群技术的分... ...
分类：
其他好文 时间：
2016-12-01 02:08:54
阅读次数：
198
背景 我们的storm实时流计算项目已经上线几个月了，由于各种原因迟迟没有进行监控，每次出现问题都要登录好几台机器，然后使用sed，shell，awk，vi等各种命令来查询原因，效率非常低下，而且有些统计是没法做的，所以很有必要对storm本身相关的日志以及我们运行在storm上面的任务的日志做一个 ...
分类：
其他好文 时间：
2016-11-22 20:44:22
阅读次数：
240
框( box )布局影响因素之一，便是定位体系。定位体系也是其最为重要的影响因素。 CSS2.1 中，一个框可以根据三种定位体系布局。CSS2.1 中的定位体系帮助作者使他们的文档更容易理解，并不需要使用标记的手段（如，不可见的图片）达到布局的效果。 常规流( Normal flow ) 常规流，是 ...
分类：
其他好文 时间：
2016-11-22 02:55:17
阅读次数：
232
流计算： Strom：针对“边达到边计算”的实时流计算框架，可在一个时间窗口上对数据流进行在线实时分析。 同样的还有Yahoo提出的S4系统。 批计算： Hadoop：是一个提供分布式存储和计算的软件框架，它具有无共享、高可用、弹性可扩展的特点，非常适合处理海量数据。先存储再计算。 实时批计算： S ...
分类：
其他好文 时间：
2016-09-09 15:04:21
阅读次数：
185
Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。本教程是一本对storm的基础介绍手册，希望帮助所有愿意使用实时流处理框架的技术同仁。 一、实时流计算 互联网从诞生的第一时间起，对世界的最大的 ...
分类：
其他好文 时间：
2016-07-05 22:10:50
阅读次数：
176
