码迷,mamicode.com
首页 > 数据库 > 详细

基于spark1.3.1的spark-sql实战-02

时间:2015-05-19 19:07:19      阅读:217      评论:0      收藏:0      [点我收藏+]

标签:spark   数据库   performance   jdbc   select   

Hive Tables

将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下

 When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse in the current directory.

// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
sqlContext.sql("LOAD DATA LOCAL INPATH ‘examples/src/main/resources/kv1.txt‘ INTO TABLE src")

// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)

JDBC To Other Databases

技术分享
加载mysql数据库:test,表:t_user_new返回DataFrame
技术分享

查询数据:
技术分享

Performance Tuning

技术分享
spark 程序操作JDBC:
技术分享

技术分享

技术分享

未完待续~~~















基于spark1.3.1的spark-sql实战-02

标签:spark   数据库   performance   jdbc   select   

原文地址:http://blog.csdn.net/stark_summer/article/details/45843803

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!