一、什么是Presto？ 背景知识：Hive的缺点和Presto的背景 Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。Presto是一个分布式SQL查询引擎，它被设计为用 ...
分类：
其他好文 时间：
2020-04-04 11:41:05
阅读次数：
80
编写一个 SQL 查询，查找所有至少连续出现三次的数字。 + + +| Id | Num |+ + +| 1 | 1 || 2 | 1 || 3 | 1 || 4 | 2 || 5 | 1 || 6 | 2 || 7 | 2 |+ + +例如，给定上面的 Logs 表， 1 是唯一连续出现至少三次的 ...
分类：
数据库 时间：
2020-04-02 16:19:20
阅读次数：
210
导读：能单独拎出SQL文件的某一行或几行执行，是不是非常有趣？今天我们来介绍一下这个有意思的库 dotsql。 背景介绍 dotsql不是ORM，也不是SQL查询语句的构建器，而是可以在一个SQL文件中拎出某几行来执行的工具，非常类似于ini配置文件的读取。如果还不理解，我们来看如下内容。 上面是S ...
分类：
数据库 时间：
2020-04-02 16:19:04
阅读次数：
140
场景：关联查询，一张主表关联4张表进行查询。主表数据量是16万，其中被关联的一张表的数量是6万。 遇到页面响应速度过慢的情况，首先考虑是否是sql查询缓慢引起的。 第一步开启mysql的慢查询日志(网上教程很多，本篇文章不再赘述) 第二步分析慢查询日志，这里要说下分析工具。常用的有两种，一是mysq ...
分类：
数据库 时间：
2020-04-02 16:09:21
阅读次数：
78
示例中 mysql字段类型为 datetime 使用到mysql函数 DATE_SUB() 和 now() 示例1： <!-- 更新5天前的订单 审核中-6 改成 审核失败-81 create_time <= DATE_SUB(now(), INTERVAL 5 DAY) 5天前，精确到秒 --> ...
分类：
数据库 时间：
2020-04-02 15:57:29
阅读次数：
617
一：什么是SparkSQL？ （一）SparkSQL简介 Spark SQL是Spark的一个模块，用于处理结构化的数据，它提供了一个数据抽象DataFrame（最核心的编程抽象就是DataFrame），并且SparkSQL作为分布式SQL查询引擎。Spark SQL就是将SQL转换成一个任务，提交 ...
分类：
数据库 时间：
2020-04-02 15:36:01
阅读次数：
88
mysql执行一条sql查询语句背后发生了什么呢？ 我是李福春，我在准备面试，今天的题目是： mysql的体系结构是怎样的？一条sql语句在mysql的体系结构中经历了什么？ 答： mysql体系结构 mysql的题解结构可以分成3个部分。列举如下： mysql client: 比如一个命令行，或者 ...
分类：
数据库 时间：
2020-04-01 19:30:46
阅读次数：
83
Hive + HBase，数据实时写Hbase,在Hive中用sql查询
分类：
其他好文 时间：
2020-04-01 14:37:17
阅读次数：
86
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在nu ...
分类：
数据库 时间：
2020-03-31 10:26:46
阅读次数：
74
问题： 运维报告某一台数据库，数据流量太大，具体数值不清楚。超过其他正常数据库的流量。 问题分析： 数据流量过大，猜测是一是数据库访问量增加（可能性不大，基本排除），二是某些项目的sql查询了单表的大量数据。有可能是查询条件筛选访问过大。 公司项目： dotnet4.5、entityframe wo ...
分类：
数据库 时间：
2020-03-30 19:13:03
阅读次数：
108
