一、静态数据、流数据 以及 批量计算、实时计算 大数据分类两类：静态数据和动态数据（流数据）。针对这两类数据的计算模式分别是批量计算和实时计算。 静态数据：历史数据持久化存储在系统里，这类数据的特点是数据量大、数量有限（数据的时间区间是确定的）。例如企业为了支持决策分析而构建的数据仓库系统。 对这类 ...
分类：
其他好文 时间：
2019-06-14 23:54:29
阅读次数：
224
一：Storm概述 网址：http://storm.apache.org/ ApacheStorm是一个免费的开源分布式实时计算系统。Storm可以轻松可靠地处理无限数据流，实现Hadoop对批处理所做的实时处理。Storm非常简单，可以与任何编程语言一起使用，并且使用起来很有趣！ Storm有许多 ...
分类：
其他好文 时间：
2019-06-05 19:40:42
阅读次数：
124
https://mp.weixin.qq.com/s/Rx43XfhgdwerQWLn1eI3Ww 51信用卡金融风控场景下实时计算引擎的设计与实践 原创： 周来 51NB技术 5月7日 ...
分类：
其他好文 时间：
2019-06-02 01:34:39
阅读次数：
102
一、简介 JStorm是一个分布式实时计算引擎。JStorm是一个类似于Hadoop MapReduce的系统，用户按照指定的接口实现一个任务，然后将这个任务交给JStorm系统，JStorm将这个任务跑起来，并按7*24小时运行。如果中间一个worker发生了意外故障，调度器立即分配一个新的wor ...
分类：
Web程序 时间：
2019-05-20 13:12:01
阅读次数：
116
一、Storm （一）什么是Storm? Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流 ...
分类：
其他好文 时间：
2019-05-01 14:59:35
阅读次数：
146
在大数据的各种框架中，hadoop无疑是大数据的主流，但是随着电商企业的发展，hadoop只适用于一些离线数据的处理，无法应对一些实时数据的处理分析，我们需要一些实时计算框架来分析数据。因此出现了很多流式实时计算框架，比如Storm，Spark Streaming，Samaz等框架，本文主要讲解Sp ...
分类：
其他好文 时间：
2019-04-30 17:19:01
阅读次数：
208
随着数据时代的到来，数据的实时计算也越来越被大家重视。实时计算的一个重要方向就是实时流计算，目前关于流计算的有很多成熟的技术实现方案，比如Storm、Spark Streaming、flink等。我今天要讲的kafka streams体量上来说没有那么大，都算不上一个框架，只是kafka的一个类库。 ...
分类：
其他好文 时间：
2019-04-29 19:24:43
阅读次数：
241
适合范围：storm自由开源的分布式实时计算系统，擅长处理海量数据。适合处理实时数据而不是批处理。 安装前的准备 1.安装zookeeper ①下载zookeeperhttps://zookeeper.apache.org/,点击download进入新页面之后， >download，选择一个镜像文件 ...
1、Storm与Kafka集成 我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的， 而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的， 如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，应 ...
分类：
其他好文 时间：
2019-04-26 11:28:06
阅读次数：
153
实时计算接上篇，离线计算是对已经入库的数据进行计算，在查询时对批量数据进行检索、磁盘读取展示。而实时计算是在数据产生时就对其进行计算，然后实时展示结果，一般是秒级。举个例子来说，如果有个大型网站，要实时统计用户的搜索内容，这样就能计算出热点新闻及突发事件了。按照以前离线计算的做法是不能满足的，需要使用到实时计算。小明作为有理想、有追求的程序员开始设计其解决方案了，主要分三部分。每当搜索内容的数据产
分类：
其他好文 时间：
2019-04-23 17:37:27
阅读次数：
140
