码迷,mamicode.com
首页 > 数据库 > 详细

spark中使用sparksql对日志进行分析(属于小案例)

时间:2017-04-25 23:25:50      阅读:217      评论:0      收藏:0      [点我收藏+]

标签:技术分享   com   number   taf   使用   spark   ges   text   context   

一:使用sparksql开发

1.sparksql开发的两种方式

  HQL:SQL语句开发

    eq : sqlContext.sql("xxxx")

  DSL : sparkSql中DataFrame的API调用方式

    eq:val df=sqlContext.xxx

       df.select("number")

 

二:HQL的开发案例

1.新建目录上传日志

  技术分享

 

2.书写程序

  

 

  

spark中使用sparksql对日志进行分析(属于小案例)

标签:技术分享   com   number   taf   使用   spark   ges   text   context   

原文地址:http://www.cnblogs.com/juncaoit/p/6764833.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!