本篇文章主要记录最近在使用spark sql 时遇到的问题已经使用心得。 1 spark 2.0.1 中，启动thriftserver 或者是spark-sql时，如果希望spark-sql run on hdfs，那样需要增加参数 "--conf spark.sql.warehouse.dir=h ...
分类：
数据库 时间：
2016-11-23 23:31:19
阅读次数：
298
hive分为CLI（command line）（用的比较多） JDBC/ODBC-ThriftServer hiveServer（hive -service hiveserver），JDBC访问，一个客户端连接数,需要建立pool池,内存损耗极大,容易内存溢出（数据量太大不用） web gui（基本 ...
分类：
其他好文 时间：
2016-08-18 06:25:11
阅读次数：
154
我们知道在Spark中可以通过start-thriftServer.sh 来启动ThriftServer，之后并可以通过beeline或者JDBC来连接并执行Spark SQL。在一般的Spark应用中，通常并不希望另外起一个服务进程，自然就要问：可以在Spark dirver program里启一 ...
分类：
其他好文 时间：
2016-07-12 19:05:50
阅读次数：
137
maven：3.3.9jdk:javaversion"1.8.0_51"spark:spark-1.6.1.tgzscala:2.11.7如果scala版本是2.11.x，执行如下脚本./dev/change-scala-version.sh2.11spark默认情况下用scala的2.10.5编译编译命令如下：mvn-Pyarn-Phadoop-2.6-Dhadoop.version=2.6.0-Phive-Phive-thriftserver-Ds..
分类：
数据库 时间：
2016-05-31 10:43:09
阅读次数：
1194
Spark学习五：spark sql标签（空格分隔）： SparkSpark学习五spark sql
一概述
二Spark的发展历史
三Spark sql和hive对比
四spark sql 架构
五sprk sql访问hive数据
六catalyst
七thriftserver
八Dataframe
九加载外部数据源
Spark SQL强大诞生了
一，概述：二，Spark的发展历史三，Spark...
分类：
数据库 时间：
2016-05-09 07:02:30
阅读次数：
450
操作系统：windows 10IDEA ： IDEA 14.1.41：使用IDEA导入spark 1.5的源码，注意maven配置为自动导入2：在maven窗口下的profiles中勾选hadoop, hive ,hive-thriftserver,yarn的选项。3： 在maven窗口下勾选gen...
分类：
其他好文 时间：
2015-09-12 22:16:54
阅读次数：
274
最近使用SparkSQL做数据的打平操作，就是把多个表的数据经过关联操作导入到一个表中，这样数据查询的过程中就不需要在多个表中查询了，在数据量大的情况下，这样大大提高了查询效率。我启动了thriftserver,然后通过beeline去连接thriftserver， 打平操作进行的很顺利，但是在执行...
分类：
其他好文 时间：
2015-08-09 00:24:31
阅读次数：
329
spark thriftserver运维： 在root@spark_master_machine机器上 启动 thriftserver========================================================================================================================...
分类：
其他好文 时间：
2015-08-07 13:35:38
阅读次数：
221
1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path
/usr/local/spark/spark-1.3.0-bin-hadoop2.3/lib/mysql-connector-java-5.1.6-bin.jar
--masterspark://hd1:7077--executor-memory2g--total-..
分类：
其他好文 时间：
2015-06-23 23:23:32
阅读次数：
888
Step1yuminstallautomakelibtoolflexbisonpkgconfiggcc-c++Step2curlftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/monkeyiq:/centos6updates/CentOS_CentOS-6/noarch/autoconf-2.69-12.2.noarch.rpm>autoconf-2.69-12.2.noarch.rpmStep3yumins..
分类：
Web程序 时间：
2015-06-23 18:19:21
阅读次数：
161
