[Spark][Python][DataFrame][SQL]Spark对DataFrame直接执行SQL处理的例子 $cat people.json $ hdfs dfs -put people.json $pyspark sqlContext = HiveContext(sc)peopleDF ...
分类：
数据库 时间：
2017-10-07 15:01:20
阅读次数：
285
[Spark][Python]DataFrame的左右连接例子 $ hdfs dfs -cat people.json $ hdfs dfs -cat pcodes.json $pyspark sqlContext = HiveContext(sc)peopleDF = sqlContext.rea ...
分类：
编程语言 时间：
2017-10-06 21:57:51
阅读次数：
450
[Spark][Python]DataFrame中取出有限个记录的例子： sqlContext = HiveContext(sc) peopleDF = sqlContext.read.json("people.json") peopleDF.limit(3).show() [training@lo ...
分类：
编程语言 时间：
2017-10-05 20:27:59
阅读次数：
250
//prepare csv //Processing and inserting data in hive without schema //permission issues as user hive // org.apache.hadoop.hive.ql.metadata.HiveExcept ...
分类：
其他好文 时间：
2017-03-15 11:43:44
阅读次数：
227
DataFrame写入hive API： 将DataFrame数据写入hive指定数据表的分区中 将数据写入分区表的思路是：首先将DataFrame数据写入临时表，之后是由hiveContext.sql语句将数据写入hive分区表中。具体操作如下： 声明本文转自：http://www.aboutyu ...
分类：
其他好文 时间：
2016-11-20 07:16:45
阅读次数：
786
摘要如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，对于sparkSQL整体框架这一块，在前一个博客已经进行过了一些介绍，如果对这块还有疑..
分类：
数据库 时间：
2016-09-12 07:29:11
阅读次数：
643
spark版本：spark-1.6.0-bin-hadoop2.6hive版本：hive 1.2.11.hive-site.xml<property> <name>hive.metastore.uris</name> <value>thrift://master:9083</value></prop ...
分类：
其他好文 时间：
2016-06-29 12:57:36
阅读次数：
249
1. SPARK CONF中添加hive-site.xml hive.metastore.uris thrift://master:9083 2. 启动hive元数据 hive --metastore >meta.log 2>&1 & 3. scala>val hiveContext = new o ...
分类：
数据库 时间：
2016-06-05 13:56:52
阅读次数：
249
折腾了一天，终于解决了上节中result3的错误。至于为什么会产生这个错误，这里，先卖个关子，先看看这个问题是如何发现的：首先，找到了这篇文章：http://apache-spark-user-list.1001560.n3.nabble.com/SparkSQL-select-syntax-td16299.html里面有这么一段：Theissueisthatyou..
分类：
数据库 时间：
2015-04-17 22:29:05
阅读次数：
704
目前没有实现，理一下思路，有3中途径：1：spark core可以使用sequoiadb最为数据源，那么是否spark sql可以直接操作sequoiadb。 (感觉希望不大,）2: spark sql支持Hive, sequoiadb可以和hive做对接，那么是否可以通过HIveContext ....
分类：
数据库 时间：
2015-01-17 15:10:37
阅读次数：
511
