优化器使用物化策略(Materialization)来实现更有效的子查询处理。通过生成子查询结果作为临时表,通常在内存中,实现加速查询执行。 MySQL首次需要子查询结果,将该结果实现为临时表。任何随后的结果都需要,MySQL再次指向临时表。优化器可以使用散列索引对表进行索引,以使查找更加快速和便宜 ...
分类:
数据库 时间:
2017-09-26 14:58:51
阅读次数:
267
数据库建表语句在最后 –这是一个学生成绩管理系统,创建数据库表语句在最后,表包括四张表tblStudent 学生信息表,tblScore 成绩表 ,tblteacher 教师信息表,tblcourse 课程表 –希望大家学会使用mysql数据库,以后工作中使用的数据库是由公司决定,有可能是mysql ...
分类:
数据库 时间:
2017-09-26 14:57:59
阅读次数:
242
课程介绍 MySQL 是全球最受欢迎的开源数据库,作为开源软件组合 LAMP(Linux + Apache + MySQL + Perl/PHP/Python)中的重要一环,广泛应用于各类应用场景。 本课程主要介绍云数据库 MySQL 版的使用、数据迁移、备份恢复、性能优化等方法。 云数据库 MyS ...
分类:
数据库 时间:
2017-09-26 14:57:35
阅读次数:
205
/** Spark SQL源码分析系列文章*/ 前面讲到了Spark SQL In-Memory Columnar Storage的存储结构是基于列存储的。 那么基于以上存储结构,我们查询cache在jvm内的数据又是如何查询的,本文将揭示查询In-Memory Data的方式。 一、引子 本例使用 ...
分类:
数据库 时间:
2017-09-26 14:55:53
阅读次数:
243
/** Spark SQL源码分析系列文章*/ 前几篇文章介绍了Spark SQL的Catalyst的核心运行流程、SqlParser,和Analyzer 以及核心类库TreeNode,本文将详细讲解Spark SQL的Optimizer的优化思想以及Optimizer在Catalyst里的表现方式 ...
分类:
数据库 时间:
2017-09-26 14:55:25
阅读次数:
242
/** Spark SQL源码分析系列文章*/ 前几篇文章介绍了Spark SQL的Catalyst的核心运行流程、SqlParser,和Analyzer,本来打算直接写Optimizer的,但是发现忘记介绍TreeNode这个Catalyst的核心概念,介绍这个可以更好的理解Optimizer是如 ...
分类:
数据库 时间:
2017-09-26 14:53:32
阅读次数:
315
写在前面: 最近的项目比较老,用到了jdbc查询数据,展示数据。有时候一个查询语句的ResultSet需要用到好几次,即需要遍历好几次同一个查询结果集,那要怎么办呢? 使用如下方式即可解决 其实这里理解了rs.next()就可以理解为什么使用prmt = conn.prepareStatement( ...
分类:
数据库 时间:
2017-09-26 14:53:19
阅读次数:
396
嵌套SELECT语句也叫子查询,一个 SELECT 语句的查询结果能够作为另一个语句的输入值。子查询不但能够出现在Where子句中,也能够出现在from子句中,作为一个临时表使用,也能够出现在select list中,作为一个字段值来返回。 1、单行子查询 :单行子查询是指子查询的返回结果只有一行数 ...
分类:
数据库 时间:
2017-09-26 14:53:04
阅读次数:
250
(1) 安装Mysql5.7: 执行命令:rpm -ivh http://repo.mysql.com/yum/mysql-5.7-community/el/7/x86_64/mysql-community-release-el7-7.noarch.rpm 执行命令:yum install mysq ...
分类:
数据库 时间:
2017-09-26 14:51:18
阅读次数:
191
上周Spark1.2刚发布,周末在家没事,把这个特性给了解一下,顺便分析下源码,看一看这个特性是如何设计及实现的。 /** Spark SQL源码分析系列文章*/ (Ps: External DataSource使用篇地址:Spark SQL之External DataSource外部数据源(一)示 ...
分类:
数据库 时间:
2017-09-26 14:51:10
阅读次数:
207
/** Spark SQL源码分析系列文章*/ 前面几篇文章讲解了Spark SQL的核心执行流程和Spark SQL的Catalyst框架的Sql Parser是怎样接受用户输入sql,经过解析生成Unresolved Logical Plan的。我们记得Spark SQL的执行流程中另一个核心的 ...
分类:
数据库 时间:
2017-09-26 14:50:35
阅读次数:
195
Mongodb是一个nosql型的数据库,存储的是类似于json对象,能够支持类似于关系型数据库的一些操作。以下是java操作mongodb。 一、建立连接(没有使用任何框架,连接是自己写的,同时在这个类写了关闭连接的方法),传入ip地址、端口和数据库名称(mongodb称集合) 二、使用操作,以下 ...
分类:
数据库 时间:
2017-09-26 14:50:06
阅读次数:
191
/** Spark SQL源码分析系列文章*/ 前面几篇文章主要介绍的是spark sql包里的的spark sql执行流程,以及Catalyst包内的SqlParser,Analyzer和Optimizer,最后要介绍一下Catalyst里最后的一个Plan了,即Physical Plan。物理计 ...
分类:
数据库 时间:
2017-09-26 14:49:57
阅读次数:
256
/** Spark SQL源码分析系列文章*/ 在SQL的世界里,除了官方提供的常用的处理函数之外,一般都会提供可扩展的对外自定义函数接口,这已经成为一种事实的标准。 在前面Spark SQL源码分析之核心流程一文中,已经介绍了Spark SQL Catalyst Analyzer的作用,其中包含了 ...
分类:
数据库 时间:
2017-09-26 14:48:24
阅读次数:
162
1、安装 python3版本直接执行pip install ipdb命令安装 python2.7版本的需要指定ipdb的版本 pip install ipdb==0.10.2 等号后面的就是版本,因为 pip install ipdb默认安装的是最新版本,现在的ipdb需要python3的支持 所以 ...
分类:
数据库 时间:
2017-09-26 14:47:13
阅读次数:
232
从决定写Spark SQL源码分析的文章,到现在一个月的时间里,陆陆续续差不多快完成了,这里也做一个整合和索引,方便大家阅读,这里给出阅读顺序 :) 第一篇 Spark SQL源码分析之核心流程 第二篇 Spark SQL Catalyst源码分析之SqlParser 第三篇 Spark SQL C ...
分类:
数据库 时间:
2017-09-26 14:01:57
阅读次数:
166
单元测试中 使用 Effort 内存数据库,可能会遇到两个错误: 1. :“No Entity Framework provider found for the ADO.NET provider with invariant name 'Effort.Provider 这个报错,是告诉我们没有引用e ...
分类:
数据库 时间:
2017-09-26 14:01:32
阅读次数:
318