大数据08 流计算(高速 毫秒级)

标签：电子商务网   用户分析   stream   top   mic   ima   height   处理   spark   

静态数据：比如数据仓库中的数据, 类似三峡水库中的水. (数据挖掘, OLAP 分析工具)

流数据:  网络监控, 传感检测, 大量的, 流式的数据(不断的产生, 源源不断的到达). 比如 PM2.5 的检测， 这种需要实时的监控和处理(分析). 

流数据的特性

推送的方式: 实时查询的结果

流计算应用场景

电子商务网站, 根据用户输入, 实时分析, 然后推荐给用户分析结果.

实时交通: 实时的分析交通的情况, 给出分析导航建议.

Storm 毫秒级架构 (免费开源)

Topology : 就是一个 Job. 每次编写的组件, 就是以Topology 来执行, 而且Topology 可以并行执行. 

 Spark 本身是面向批处理的, Spark Stream 就是通过把数据按照1秒为时间单位把数据分成一段一段的, 然后把每一个小段按照批处理的方式进行. 每一个小段就是一个RDD.

 Storm 程序

单词统计为例子

大数据08 流计算(高速 毫秒级)

标签：电子商务网   用户分析   stream   top   mic   ima   height   处理   spark   

原文地址：https://www.cnblogs.com/moveofgod/p/12384814.html