背景在最近的项目中,有一个需求是对一个很大的数据库进行查询,数据量大概在几千万条。但同时对查询速度的要求也比较高。这个数据库之前在没有使用Presto的情况下,使用的是Hive,使用Hive进行一个简单的查询,速度可能在几分钟。当然几分钟也并不完全是跑SQL的时间,这里面包含发请求,查询数据并且返回数据的时间的总和。但是即使这样,这样的速度明显不能满足交互式的查询需求。我们的下一个解决方案就是Pr
分类:
编程语言 时间:
2019-01-21 11:14:32
阅读次数:
234
IMPALA部署和架构(一) 一,概要 因公司业务需求,需要一个查询引擎满足快速查询TB级别的数据,所以我们找到了presto和impala,presto在前面讲过今天只说impala,impala是cloudera公司主导开发的新型查询系统,impala没有在使用缓慢的Hive+MapReduce ...
分类:
其他好文 时间:
2019-01-20 17:26:19
阅读次数:
848
问题来源于以下场景: 我们需要对一张数据表做导出文件操作,需要判断如果数据量不多的时候,直接导出提供下载,如果数据量超过一定数值,则异步处理导出和下载。 这里就引入一个问题,如果我们直接count一张表,当表比较大的时候,太过耗时: select count(1) from table;// 数据量 ...
分类:
其他好文 时间:
2019-01-12 01:08:14
阅读次数:
229
IE:trident 内核 Firefox(火狐):gecko 内核 Safari:webkit 内核 Opera(欧朋):以前是 presto 内核,Opera 现已改用 Google Chrome 的 Blink 内核 Chrome(谷歌):Blink(基于 webkit,Google 与 Op ...
分类:
其他好文 时间:
2019-01-10 20:28:17
阅读次数:
155
前端笔试总结 一、HTML和CSS 1、你做的页面在哪些流览器测试过?这些浏览器的内核分别是什么? IE: trident内核 Firefox:gecko内核 Safari:webkit内核 Opera:以前是presto内核,Opera现已改用Google Chrome的Blink内核 Chrom ...
分类:
其他好文 时间:
2019-01-07 20:47:40
阅读次数:
1774
1.前端开发工程师,不关心手机分辨率,我们只关心手机视口 2.手机浏览器内核:微软的Trident 火狐的Gecko 开源的内核Webkit Opera的Presto 目前微软的Trident在移动终端上主要为WP7、8系统内置浏览器。Opera的Presto内核主要为 Opera Mobile、O ...
分类:
其他好文 时间:
2019-01-04 12:16:30
阅读次数:
191
@https://www.cnblogs.com/calmzeal/archive/2017/08/14/7359144.html 安装步骤: 1. 安装Python 3.7 , python-3.7.1-amd64.exe 检查:CMD下 分别运行python -V 和 pip-V。如果找不到命令 ...
-o-:以Presto为渲染引擎的浏览Opera的私有属性、 -moz-:以Gecko为渲染引擎的浏览器Mozilla Firefox的私有属性 -webkit-:以Webkit为渲染引擎的浏览器Safari、Google Chrome的私有属性-ms-:IE8的私有属性的transition:CS ...
分类:
其他好文 时间:
2018-12-14 14:57:25
阅读次数:
488
1.你做过的页面在那些浏览器测试过?它们的内核分别是什么? IE(trident内核);Firefox(gecko内核);Safari(webkit内核);Opera(以前是presto内核,现在已经改用Google Chrome的Blink内核);Chrome(Blink内核,基于webkit,G ...
分类:
其他好文 时间:
2018-11-27 17:09:48
阅读次数:
154
IE Trident Chrome Webkot/Blink Firefox Gecko Opera Presto Safari Webkit ...
分类:
其他好文 时间:
2018-11-20 15:15:54
阅读次数:
189