码迷,mamicode.com
首页 > 其他好文 > 详细

2017.4.17 HDP和HDF

时间:2017-04-17 14:32:59      阅读:1569      评论:0      收藏:0      [点我收藏+]

标签:work   lin   href   iot   cloud   roc   streaming   github   storm   

作为相对于cloudera的CDH的另一个选择是hortonworks的HDP和HDF,HDF是针对物联网的套件,HDP是与CDH对应的大数据平台产品。

hortonworks的HDP和HDF将storm和kafka集成进大数据平台,可以进行统一监控管理。

网络上有两套参考实现,都提供了模拟的数据流。

并且官网上针对货车跟踪有一套方案https://hortonworks.com/hadoop-tutorial/realtime-event-processing-nifi-kafka-storm/,基于HDP

有源码https://github.com/hortonworks-gallery/iot-truck-streaming,该方案除了使用kafka到storm到hbase这一数据流外,

还在kafka之前增加了一个nifi模块,在hbase之上加了一个基于spark的Zeppelin模块,可以进行快速的分析并图表化显示结果。就是项目比较老,不适合产品使用。

在github上有个基于HDF的货车跟踪参考实现https://github.com/orendain/trucking-iot,使用最新版本的HDF。使用的模块是nifi,kafka,storm,且提供了web展示。

有docker镜像可供演示,文档清晰,代码使用的是scala。

尝试搭建HDP,没有什么问题。

2017.4.17 HDP和HDF

标签:work   lin   href   iot   cloud   roc   streaming   github   storm   

原文地址:http://www.cnblogs.com/cenglinjinran/p/6722401.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!