码迷,mamicode.com
首页 > 其他好文 > 详细

Spark典型案例

时间:2015-05-05 10:47:32      阅读:163      评论:0      收藏:0      [点我收藏+]

标签:spark 案例

本文以AIX系统中的nmon文件为例,说明spark针对数据分析的典型用法。希望能帮助大家用spark的方式来思考问题。

任务1:从aix数据文件中获取数据的起始时间

技术分享

实现代码片段:

技术分享


任务2:从aix数据文件中取出所有CPU行

技术分享

实现代码片段:

技术分享


任务3:从CPU行中取出首行(变量定义)

 技术分享

实现代码片段:

技术分享


任务4:从CPU行中取出所有数据行

技术分享

实现代码片段:

技术分享


任务5:转换一行CPU数据为多条KPI记录

技术分享

实现代码片段:

技术分享


任务6:分钟级数据聚合为小时级数据

技术分享

实现代码片段:

技术分享

技术分享


Spark典型案例

标签:spark 案例

原文地址:http://blog.csdn.net/yery/article/details/45488611

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!