1. impala 实时交互SQL大数据查询工具 它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。 Impala的最大特点也是最大卖点就是它的快速。 Impala完全抛弃了Hive+MapReduce这个不太适合做SQL查询的缓慢范式 通过使用与商用并行关系数据库中 ...
分类：
其他好文 时间：
2017-03-23 11:35:12
阅读次数：
251
$limit = 500; while (true) { $offset = ($page - 1) * $limit; $tmp_sellers = $store->sellers($where, $offset, $limit,$supplier_id); ... ...
分类：
其他好文 时间：
2017-03-12 18:05:49
阅读次数：
129
Hadoop 图形化用户界面 Hue 大数据可视化工具 Nanocubes 企业大数据平台 RedHadoop 大数据查询引擎 PrestoDB Hadoop集群监控工具 HTools 安全大数据分析框架 OpenSOC 分布式数据仓库系统 Apache Tajo 数据管道服务 Suro 开源大数据 ...
分类：
其他好文 时间：
2016-07-01 06:39:58
阅读次数：
231
引言 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon ...
分类：
其他好文 时间：
2016-06-28 18:17:12
阅读次数：
203
上周末,帮朋友处理了一个关于大数据的查询与导出问题,整理一下,在此记录一下用以备忘,同时也为有类似需要的朋友提供一个参考. 背景: 数据库服务使用: SqlServer2008 ; 查询的流水表总数据量约在 800W 条左右 ; 需要展示的字段需要从流水表+基础资料表中 导出需要 加载指定模板 ; ...
分类：
其他好文 时间：
2016-05-31 08:51:06
阅读次数：
256
1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： selectidfromtwherenumisnull 最好不要给数据库留N ...
分类：
数据库 时间：
2016-04-10 22:38:47
阅读次数：
287
使用impala做大数据量查询distinct的时候报如下错误WARNINGS:Createfile/tmp/impala-scratch/24414dab2c19caca:e54b206c5ab149d_24414dab2c19caca:e54b206c5ab149f_91001337-9d70-4c93-84ce-e7916c1ae804failedwitherrno=2description=Error(2):Nosuchfileordirectory
Backend4..
分类：
其他好文 时间：
2015-08-17 12:17:33
阅读次数：
315
批量和分页 在典型的互联网web应用中，数据量较大且高并发的情况下，不分页，或者不进行批量处理，每次总是取出很多用户数据，很容易造成内存开销过大，系统内存吃紧。再比如我们有时候进行文件操作，读取文件内容的时候就要斟酌考虑文件有多大。慎用静态 比起大数据查询造成的常发性的内存不足，使用静态太多的应.....
分类：
Web程序 时间：
2015-08-10 21:39:39
阅读次数：
142
1.使用new map 查询的时候，虽然只打印一条语句，它需要进行全表扫描，查询的次数并不少，而hibernate的hql 语句把每次查询的语句都打印出来了。但是它的查询时间相对new map来说，为什么会变长呢？
2.hibernate的hql 语句级联查询时间过长的原因会不会跟hibernate的缓存有关系？每次查询结果都需要放到1,2级缓存中。
3.关于hibernate的查询语句这样设计的原因是什么，当初hibernate的大牛们设计的时候，是处于什么考虑的？
以上的三个问题我目前没有找...
分类：
编程语言 时间：
2015-07-26 09:46:30
阅读次数：
151
1. Impala架构 ?????? Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引...
分类：
其他好文 时间：
2015-03-18 12:34:49
阅读次数：
214
