Spark SQL在Spark1.2中提供了External DataSource API，开发者可以根据接口来实现自己的外部数据源，如avro, csv, json, parquet等等。 在Spark SQL源代码的org/spark/sql/sources目...
分类：
数据库 时间：
2014-12-22 09:29:59
阅读次数：
608
/**Spark SQL源代码分析系列文章*/ 自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst，到至今1年多了,Spark SQL的贡献者从几人到了几十人，并且发展速度异常迅猛，究其原因，个人觉得有下面2点： 1、整合：将SQL类型的查...
分类：
数据库 时间：
2014-11-09 09:51:02
阅读次数：
375
Spark SQL源码分析之如何查询cache后的table...
分类：
数据库 时间：
2014-10-02 14:51:33
阅读次数：
491
Spark SQL缓存到内存中的数据的存储策略...
分类：
数据库 时间：
2014-09-25 20:24:38
阅读次数：
358
应用场景及目标描述：在3750核心交换机的g1/0/41端口的入方向上，对进来的流量(从1.1.1.1到2.2.2.2的指定IPConversation)实施20M带宽限制。(config)#mlsqos#全局启用qos(config)#access-list104permitiphost1.1.1.1host2.2.2.2(config)#class-mapc41(config-cmap)#matchaccess-..
分类：
其他好文 时间：
2014-09-24 03:33:16
阅读次数：
341
目前 Spark SQL 不支持自定义UDF ，底层 SQL 引擎用的 catalyst 。
在SqlContext 中 有一个 Analyzer
@transient
protected[sql]
lazy
val
analyzer:
Analyzer =
new
Analyzer(catalog, Em...
分类：
数据库 时间：
2014-09-13 22:50:26
阅读次数：
339
Spark SQL 物理计划到 RDD 的计算过程实现。...
分类：
数据库 时间：
2014-07-29 22:08:02
阅读次数：
656
Spark SQL之Catalyst的物理计划，讲解了物理计划的产生过程，以及涉及到的策略。...
分类：
数据库 时间：
2014-07-29 14:46:18
阅读次数：
514
Spark SQL 源码分析系列文章，从整个SQL执行流程到各个环节的关键组件，以及Catalyst框架的讲解。...
分类：
数据库 时间：
2014-07-29 13:10:36
阅读次数：
328
