码迷,mamicode.com
首页 > 数据库 > 详细

spark sql加载avro

时间:2015-12-03 13:16:40      阅读:158      评论:0      收藏:0      [点我收藏+]

标签:

 

1、spark sql可以直接加载avro文件,之后再进行一系列的操作,示例:

 

  

 1         SparkConf sparkConf = new SparkConf().setAppName("Spark job");
 2         JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);
 3 
 4         SQLContext sqlContext = new SQLContext(javaSparkContext);
 5 
 6         String FORMAT_CLASS = "com.databricks.spark.avro";
 7 
 8         // avro 在hdfs上的路径
 9         String path = "/sqoopdb/pcdas/*.avro";
10         DataFrame tblarticleautoDf = sqlContext.read().format(FORMAT_CLASS)
11                 .load(path);
12         tblarticleautoDf.registerTempTable("tableName");
13 
14         String sql = "select * from tableName";
15         DataFrame queryDf = sqlContext.sql(sql);
16         System.out.println(queryDf.count());
17         System.out.println(queryDf.first());

 

spark sql加载avro

标签:

原文地址:http://www.cnblogs.com/fillPv/p/5015689.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!