方法一：链接并操作mysql val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://10.1.2.190:8066/mq_crm?user=kr.user&password=user@852633 ...
分类：
数据库 时间：
2016-05-17 17:40:28
阅读次数：
296
Spark SQL加载数据
SparkSQl 数据输入输入输出主要是DataFrame，DataFrame提供了一些通用的load和save操作。
通过load可以创建出DataFrame；通过save可以将DataFrame数据保存到文件中或者说以具体的格式来指明要读取的文件是什么格式或者输出的数据是什么格式；直接读取 文件的指定类型：
SQLContext源码：
load 和sa...
分类：
数据库 时间：
2016-05-13 01:11:30
阅读次数：
350
SparkSql
允许spark执行sql语句，hivesql,scala的描述的基于关系的查询。其实是封装了新的RDD-SchemaRDD，由行对象组成，有一个模式描述每列的数据类型。SchemaRDD与关系型数据库的表很相似，可以通过存在的RDD/Parquet文件/Json文件/用Hive中的数据HiveSql创建。其中相关功能入口是SQLContext()及其子类。
如HiveCon...
分类：
数据库 时间：
2016-05-12 19:53:55
阅读次数：
240
代码如下：packagecom.dt.spark.streaming
importorg.apache.spark.sql.SQLContext
importorg.apache.spark.{SparkContext,SparkConf}
importorg.apache.spark.streaming.{StreamingContext,Duration}
/**
*使用SparkStreaming结合SparkSQL对日志进行分析。
*假设电商网站点..
分类：
数据库 时间：
2016-05-05 07:09:52
阅读次数：
346
load、save方法的用法 .save("hdfs://spark1:9000/peopleName_java"); parquet数据源： -》加载parquet数据 DataFrame usersDF = sqlContext.read().parquet("hdfs://spark1:900 ...
分类：
数据库 时间：
2016-04-04 18:09:54
阅读次数：
287
1、设置Shuffle过程中的并行度：spark.sql.shuffle.partitions（SQLContext.setConf()）2、在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为INT的，就不要设置为BIGINT。减少数据类型导致的不必要的内存开销。3、编写SQL时，尽量给出...
分类：
数据库 时间：
2016-01-14 06:15:31
阅读次数：
230
1.整体运行流程使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an...
分类：
数据库 时间：
2015-12-31 12:53:47
阅读次数：
970
1 概述（Overview）2 DataFrames2.1 入口：SQLContext（Starting Point: SQLContext）2.2 创建DataFrames（Creating DataFrames）2.3 DataFrame操作（DataFrame Operations）2.4 运...
分类：
数据库 时间：
2015-12-29 22:43:57
阅读次数：
2343
packageorg.apache.spark.sql
importorg.apache.spark.{SparkConf,SparkContext}
objectSLA_parquetSQL{
defmain(args:Array[String]){
valsc=newSparkContext(newSparkConf().setAppName("SLAFilter"))
valsqlContext=newSQLContext(sc)
valsuffix=args(0)
sqlContext.parq..
分类：
数据库 时间：
2015-12-02 01:12:18
阅读次数：
154
在spark_shell创建SQLContext导入对象后sqlContext时间，例如，下面的例外：找个理由sqlContext必须是val类型。后引入到正常的变化。 版权声明：本文博客原创文章，博客，未经同意，不得转载。 ...
分类：
数据库 时间：
2015-07-07 12:43:52
阅读次数：
281
