大数据查询引擎Presto简介SQLonHadoop：Hive的出现让技术人员可以通过类SQL的方式对批量数据进行查询，而不用开发MapReduce程序MapReduce计算过程中大量的中间结果磁盘落地使运行效率较低为了提高SQLonHadoop的效率，各大工具应运而生，比如Shark、Impala等SQLonHadoop的常见工具：Presto是什么：Presto是由Facebook开发的分布式
分类：
数据库 时间：
2020-11-21 12:01:11
阅读次数：
8
内存映射文件的方法 Windows采用MapViewOfFile系统api，Linux则采用mmap相关函数。之前在做大数据查询计算的时候，经常会出现内存不足的情况，malloc无法分配内存了。那时候就经常在想能不能使用硬盘来充当内存，就像swap交换那样，硬盘是非常大的，如果能使用硬盘来当内存也许 ...
分类：
其他好文 时间：
2020-04-19 11:12:46
阅读次数：
69
在IT运维工作中我们使用elasticsearch 作为上百万大数据查询的工具，我们经常会遇到es 内存不足导致es集群分片 损坏的情况， 介于以上情况，我在这里为大家提供es 集群扩容的正确操作方式 我这里使用两台es作为数据节点，分别是es1 和es2，为了将两台服务器节点都从4G调整到16G， ...
分类：
其他好文 时间：
2020-03-22 01:39:00
阅读次数：
129
一、导读 如果一次性加载成千上万的列表数据，在网页上显示将十分的耗时，用户体验不好。所以处理较大数据查询结果展现的时候，分页查询是必不可少的。分页查询必然伴随着一定的排序规则，否则分页数据的状态很难控制，导致用户可能在不同的页看到同一条数据。那么，本文的主要内容就是给大家介绍一下，如何使用Sprin ...
分类：
编程语言 时间：
2019-11-07 09:55:44
阅读次数：
99
关于 Apache Calcite 的简单介绍可以参考 Apache Calcite：Hadoop 中新型大数据查询引擎 这篇文章，Calcite 一开始设计的目标就是 one size fits all，它希望能为不同计算存储引擎提供统一的 SQL 查询引擎，当然 Calcite 并不仅仅是一个简 ...
分类：
Web程序 时间：
2019-11-05 01:00:45
阅读次数：
104
提高mysql千万级大数据SQL查询优化30条经验（Mysql索引优化注意） 1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： ...
分类：
数据库 时间：
2019-09-04 11:39:52
阅读次数：
120
一、kudu概念 Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。 这是一个为块数 ...
分类：
数据库 时间：
2019-01-14 00:19:03
阅读次数：
980
给一个客户开发网贷查询的。然后顺便看了下目前业界的玩法，基本都是找到一些上级公司，拿到大数据查询接口，然后自己包装订制开发。 下面是我在开发的过程中调用的一些接口。php的。都是找这样的公司拿到appid或者appcode等信息，然后联调他们的数据，获取到数据以后，自己做成h5页面展示出来就可以了。 ...
分类：
其他好文 时间：
2018-12-15 23:18:44
阅读次数：
289
mysql的sql语句的性能诊断分析，作为测试工程师，UI测试，代码测试，配置测试、日志测试、数据库测试都是必不可少的，而数据库SQL语句和连接情况与数据库IO等开销，是程序性能的关键所在，也是大数据查询之下经常出问题的地方，作为测试工程师，熟悉一些常用的SQL分析语句，未尝不是一件美事 ...
分类：
数据库 时间：
2018-12-10 14:08:40
阅读次数：
227
大数据查询引擎的选型，画了几张架构图，和一些对比分析： 一、Presto 二、Impala 三、HAWQ 四、总体比较： 1）都是MPP架构，且没有明显性能差距2）HAWQ的功能、特性较Presto和Impala更全面，同时带来系统配置复杂，学习维护成本高的风险3）Presto与Impala都有各自 ...
分类：
其他好文 时间：
2018-10-27 14:45:01
阅读次数：
602
