一、什么是Presto? 背景知识:Hive的缺点和Presto的背景 Hive使用MapReduce作为底层计算框架,是专为批处理设计的。但随着数据越来越多,使用Hive进行一个简单的数据查询可能要花费几分到几小时,显然不能满足交互式查询的需求。Presto是一个分布式SQL查询引擎,它被设计为用 ...
分类:
其他好文 时间:
2020-04-04 11:41:05
阅读次数:
80
编写一个 SQL 查询,查找所有至少连续出现三次的数字。 + + +| Id | Num |+ + +| 1 | 1 || 2 | 1 || 3 | 1 || 4 | 2 || 5 | 1 || 6 | 2 || 7 | 2 |+ + +例如,给定上面的 Logs 表, 1 是唯一连续出现至少三次的 ...
分类:
数据库 时间:
2020-04-02 16:19:20
阅读次数:
210
导读:能单独拎出SQL文件的某一行或几行执行,是不是非常有趣?今天我们来介绍一下这个有意思的库 dotsql。 背景介绍 dotsql不是ORM,也不是SQL查询语句的构建器,而是可以在一个SQL文件中拎出某几行来执行的工具,非常类似于ini配置文件的读取。如果还不理解,我们来看如下内容。 上面是S ...
分类:
数据库 时间:
2020-04-02 16:19:04
阅读次数:
140
场景:关联查询,一张主表关联4张表进行查询。主表数据量是16万,其中被关联的一张表的数量是6万。 遇到页面响应速度过慢的情况,首先考虑是否是sql查询缓慢引起的。 第一步开启mysql的慢查询日志(网上教程很多,本篇文章不再赘述) 第二步分析慢查询日志,这里要说下分析工具。常用的有两种,一是mysq ...
分类:
数据库 时间:
2020-04-02 16:09:21
阅读次数:
78
示例中 mysql字段类型为 datetime 使用到mysql函数 DATE_SUB() 和 now() 示例1: <!-- 更新5天前的订单 审核中-6 改成 审核失败-81 create_time <= DATE_SUB(now(), INTERVAL 5 DAY) 5天前,精确到秒 --> ...
分类:
数据库 时间:
2020-04-02 15:57:29
阅读次数:
617
一:什么是SparkSQL? (一)SparkSQL简介 Spark SQL是Spark的一个模块,用于处理结构化的数据,它提供了一个数据抽象DataFrame(最核心的编程抽象就是DataFrame),并且SparkSQL作为分布式SQL查询引擎。Spark SQL就是将SQL转换成一个任务,提交 ...
分类:
数据库 时间:
2020-04-02 15:36:01
阅读次数:
88
mysql执行一条sql查询语句背后发生了什么呢? 我是李福春,我在准备面试,今天的题目是: mysql的体系结构是怎样的?一条sql语句在mysql的体系结构中经历了什么? 答: mysql体系结构 mysql的题解结构可以分成3个部分。列举如下: mysql client: 比如一个命令行,或者 ...
分类:
数据库 时间:
2020-04-01 19:30:46
阅读次数:
83
Hive + HBase,数据实时写Hbase,在Hive中用sql查询
分类:
其他好文 时间:
2020-04-01 14:37:17
阅读次数:
86
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在nu ...
分类:
数据库 时间:
2020-03-31 10:26:46
阅读次数:
74
问题: 运维报告某一台数据库,数据流量太大,具体数值不清楚。超过其他正常数据库的流量。 问题分析: 数据流量过大,猜测是一是数据库访问量增加(可能性不大,基本排除),二是某些项目的sql查询了单表的大量数据。有可能是查询条件筛选访问过大。 公司项目: dotnet4.5、entityframe wo ...
分类:
数据库 时间:
2020-03-30 19:13:03
阅读次数:
108