近期运营出报表，查询的数据量为15年的数据量，涉及的表及表中记录数如下图所示：
刚开始的时候在MySQL中进行查询汇总，选择第一个数据量最小的表，发现MySQL 出现内存溢出，数据库使用的是腾讯云上的一台CDB，内存大小为24GB。后来将数据上传到hdfs上使用impala（数据格式为PARQUET）来查询，发现效果要好于MySQL，我们的impala是一个3节点集群，内存8GB，存储500GB SSD。查询耗时如下：
从查询的过程可以看出，impala在处理较大的数据集时有着MySQL所不具备的高性能。如果在MySQL中对5亿条记录做汇总，可能需要很高的配置了，而且运行时间不见得比impala短。
本文出自 “勇敢向前，坚决向左” 博客，请务必保留此出处http://quenlang.blog.51cto.com/4813803/1747304
原文地址：http://quenlang.blog.51cto.com/4813803/1747304
