码迷,mamicode.com
首页 > 其他好文 > 详细

流数据

时间:2019-11-05 18:49:38      阅读:98      评论:0      收藏:0      [点我收藏+]

标签:mamicode   ima   spark   image   任务   linked   技术   text   lin   

特征:

持续到达,数据量大,注重数据整体价值,数据顺序可能颠倒,丢失,实时计算,

海量,分布,实时,快速部署,可靠

linked in Kafka

spark streaming:微小批处理,模拟流计算,秒级响应

DStream 一系列RDD 的集合

支持批处理

技术图片

 

 技术图片

 

 技术图片

 

 创建文件流

技术图片

 

 10代表每10s启动一次流计算

textFileStream 定义了一个文件流数据源

 任务: 寻找并跑demo代码 搭建环境 压力测试

 

流数据

标签:mamicode   ima   spark   image   任务   linked   技术   text   lin   

原文地址:https://www.cnblogs.com/cschen588/p/11800107.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!