如何能更好的运用与监控sparkSQL?或许我们改更深层次的了解它深层次的原理是什么。之前总结的已经写了传统数据库与Spark的sql解析之间的差别。那么我们下来直切主题~ 如今的Spark已经支持多种多样的数据源的查询与加载，兼容了Hive,可用JDBC的方式或者ODBC来连接Spark SQL。 ...
分类：
数据库 时间：
2016-11-27 16:21:37
阅读次数：
135
额，没忍住，想完全了解sparksql，毕竟一直在用嘛，想一次性搞清楚它，所以今天再多看点好了~ 曾几何时，有一个叫做shark的东西，它改了hive的源码。。。突然有一天，spark Sql突然出现，如下图： = =好了，不逗了，言归正传。。。那么一条sql传统数据库会是怎么解析的呢？ 传统数据库 ...
分类：
数据库 时间：
2016-11-22 03:12:36
阅读次数：
351
SparkSQL与Hive的整合 1. 拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/ 2. 在$SPARK_HOME/conf/目录中，修改spark-env.sh，添加 export HIVE_HO ...
分类：
其他好文 时间：
2016-10-14 16:38:28
阅读次数：
218
本博文的主要内容是： 1. Hive本质解析 2. Hive安装实战 3. 使用Hive操作搜索引擎数据实战 SparkSQL前身是Shark，Shark强烈依赖于Hive。Spark原来没有做SQL多维度数据查询工具，后来开发了Shark，Shark依赖于Hive的解释引擎，部分在Spark中运行 ...
分类：
其他好文 时间：
2016-10-09 20:08:46
阅读次数：
325
摘要如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，对于sparkSQL整体框架这一块，在前一个博客已经进行过了一些介绍，如果对这块还有疑..
分类：
数据库 时间：
2016-09-12 07:29:11
阅读次数：
643
SparkSQL是指整合了Hive的spark-sql cli, 本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler, 具体配置参见：Hive(五):hive与hbase整合 目录： SparkSql 访问 hbase配置 测试验证 SparkSql 访问 hb ...
分类：
数据库 时间：
2016-09-01 22:41:11
阅读次数：
221
Spark版本：1.6.2
概览Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQL进行交互，无论使用何种方式，SparkSQL使用统一的执行引擎记性处理。...
分类：
数据库 时间：
2016-07-21 13:00:22
阅读次数：
524
sparkSQL 1、主要的数据结构 DataFreames 2、开始使用：SQLContext 创建步骤： Val sc:sparkContext Val sqlContext=new org.apache.spark.sql.SQLContext(sc) Import sqlContext.im ...
分类：
数据库 时间：
2016-07-09 23:45:18
阅读次数：
211
链接:http://pan.baidu.com/s/1dFqbD4l 密码:treq 1.课程研发环境 项目源代码以spark1.5.2，jdk8,scala2.10.5为基准。 开发工具:SCALA IDE eclipse; 其他工具:shell脚本2.内容简介 本教程从最基础的Spark介绍开始 ...
分类：
数据库 时间：
2016-07-08 13:36:57
阅读次数：
171
企业级大数据处理方案有三种业务场景： 1.离线处理；（mapreduce（第一代）、sparksql（第二代）） 2.实时处理；（数据库操作、storm） 3.准实时处理。（spark Streaming） mapreduce与spark对比 mr与spark优缺点对比：（一） a.mapreduc ...
分类：
其他好文 时间：
2016-07-05 10:10:17
阅读次数：
119
