Hive产生背景： mapreduce编程的不便性 HDFS上的文件缺少Schema Hive Facebook开源的，最初用于海量结构化的日志数据统计问题 构建在hadoop之上的数据仓库 hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同） 通常用于离线数据处理（采用mapred ...
分类：
其他好文 时间：
2020-05-18 16:01:16
阅读次数：
183
本文源码：GitHub·点这里||GitEE·点这里一、列式库简介ClickHouse是俄罗斯的Yandex公司于2016年开源的列式存储数据库（DBMS），主要用于OLAP在线分析处理查询，能够使用SQL查询实时生成分析数据报告。列式存储行式存储和列式存储，数据在磁盘上的组织结构有着根本不同，数据分析计算时，行式存储需要遍历整表，列式存储只需要遍历单个列，所以列式库更适合做大宽表，用来做数据分析
分类：
其他好文 时间：
2020-05-18 12:46:21
阅读次数：
68
一、背景 我们工作中经常打交道的就是索引，那么到底什么是索引呢？例如，当一个SQL查询比较慢的时候，你可能会说给“某个字段加个索引吧”之类的解决方案。 总的来说索引的出现其实就是为了提高数据查询的效率，就像书的目录一样。一本上千页页的英语字典，如果你想快速找到其中的某一个单词，在不借助目录的情况下， ...
分类：
数据库 时间：
2020-05-17 12:58:17
阅读次数：
211
其中B表的b_id字段引用了A表的id字段。现在有个查询需求： 给出已知的A表中的id,比如:id in (1,2,3),找出这些id在B表中没有与之对应的记录。比如说上面A表中的id=3这条记录，B表中没有b_id与之对应 方式一.利用子查询 SELECT a.id FROM A a WHERE ...
分类：
数据库 时间：
2020-05-13 09:18:02
阅读次数：
528
SQL查询数据的时候，经常需要通过Join连接，把几个表的数据组合在一起查询，有点类似Excel的Vlookup，但又有多种不同的形态，下面以一个常见的业务场景为例，简单介绍一下区别： 某班级开展了期中考试，成绩出来之后，为了保护学渣的隐私，老师在群里面发布的成绩表没有学生姓名，只有学号、课程、成绩 ...
分类：
数据库 时间：
2020-05-12 16:50:51
阅读次数：
99
SQL DML 和 DDL: 可以把 SQL 分为两个部分：数据操作语言 (DML) 和 数据定义语言 (DDL)。 SQL (结构化查询语言)是用于执行查询的语法。但是 SQL 语言也包含用于更新、插入和删除记录的语法。 查询和更新指令构成了 SQL 的 DML 部分： 说白了就是对数据库进行增删 ...
分类：
数据库 时间：
2020-05-12 11:36:04
阅读次数：
74
explain分析查询 使用 EXPLAIN 关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的。这可以帮你分析你的查询语句或是表结构的性能瓶颈。通过explain命令可以得到: 表的读取顺序 数据读取操作的操作类型 哪些索引可以使用 哪些索引被实际使用 表之间的引 ...
分类：
数据库 时间：
2020-05-11 01:19:50
阅读次数：
85
动态SQL: 1 <?xml version="1.0" encoding="UTF-8"?> 2 <!DOCTYPE mapper 3 PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" 4 "http://mybatis.org/dtd/mybatis-3-m ...
分类：
其他好文 时间：
2020-05-10 18:56:16
阅读次数：
59
MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。打个比方，如果合理的设计且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车。拿汉语字典的目录页（索引）打比方，我们可以按拼音、笔画、偏旁部首等排序的目录（索引）快速查找到需要的字。创建索引时，你需要确保该索引是应用在SQL查询语句的条件(一般作为WHERE子句的
分类：
数据库 时间：
2020-05-08 10:16:27
阅读次数：
115
