最近一个项目，关于大数据的改造项目，底层选择Impala还是sparkSQL呢？ 最后选择Impala.这样就开启了我的Impala学习之旅。我大部分负责Imapa接口开发工作。 我是控制不住的想整个都了解和学习。所有还在impala控制台各种测试和学习。差不多一两天就熟悉了基本的命令。 开发之前需 ...
分类：
其他好文 时间：
2016-04-01 14:45:52
阅读次数：
162
一、SparkSQL与DataframeSparkSQL之所以是除Sparkcore以外最大和最受关注的组件的原因：a）能处理一切存储介质和各种格式的数据（你同时可以方便的扩展SparkSQL的功能来支持更多的数据类型，例如KUDO）b）SparkSQL把数据仓库的计算能力推向了一个新的高度。不仅是无敌的计算速..
分类：
数据库 时间：
2016-03-15 00:43:35
阅读次数：
261
一、Hive的历史价值1，大数据因Hadoop而知名，而Hadoop又因Hive而实用。Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，同时Hive兼具有数据仓库中的存储和查询引擎。而SparkSQL是一个更加出色和高级的查询引擎，并不提供存储功能。所以SparkSQL无法取代Hive，..
分类：
其他好文 时间：
2016-03-14 16:48:05
阅读次数：
296
作者：周志湖1. 获取数据本文通过将github上的Spark项目git日志作为数据，对SparkSQL的内容进行详细介绍
数据获取命令如下：[root@master spark]# git log --pretty=format:'{"commit":"%H","author":"%an","author_email":"%ae","date":"%ad","message":"%f"}' >...
分类：
数据库 时间：
2016-02-06 10:27:16
阅读次数：
340
sparksql中获取表头信息方法一:可以使用 describetable; 方法二:先SEThive.cli.print.header=true; 然后 select * from table limit 0;代码中的使用直接通过list> tableHead =jdbcBaseDao.getBa...
分类：
其他好文 时间：
2016-01-25 14:46:06
阅读次数：
192
Apache Spark提供了强大的API，以便使开发者为使用复杂的分析成为了可能。通过引入SparkSQL，让开发者可以使用这些高级API接口来从事结构化数据的工作（例如数据库表，JSON文件)，并提供面向对象使用RDD的API，开发只需要调用相关 的方法便可使用spark来进行数据的存储与计.....
分类：
其他好文 时间：
2016-01-11 23:29:39
阅读次数：
250
1：首先配置hive-site.xml javax.jdo.option.ConnectionURL jdbc:postgresql://192.168.56.103:5432/sparksql javax.jdo.option.Connecti...
分类：
数据库 时间：
2016-01-08 20:23:19
阅读次数：
679
2016 年1月1日 王老师课堂笔记和作业笔记：王老师主要讲解了spark的发展前景，spark在未来的几十年里必将一统大数据江湖。graphx,mllib,sparkSQL（1）scala语法的基础知识，重点为函数式编程思想。（2）spark源代码查看。作业描述：移除一个数组中第一个负数后的所有负...
分类：
编程语言 时间：
2016-01-02 14:03:27
阅读次数：
205
1.整体运行流程使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an...
分类：
数据库 时间：
2015-12-31 12:53:47
阅读次数：
970
1 概述（Overview）2 DataFrames2.1 入口：SQLContext（Starting Point: SQLContext）2.2 创建DataFrames（Creating DataFrames）2.3 DataFrame操作（DataFrame Operations）2.4 运...
分类：
数据库 时间：
2015-12-29 22:43:57
阅读次数：
2343
