背景介绍 本项目主要解决 check 和 opinion2 张历史数据表（历史数据是指当业务发生过程中的完整中间流程和结果数据）的在线查询。原实现基于 Oracle 提供存储查询服务，随着数据量的不断增加，在写入和读取过程中面临性能问题，且历史数据仅供业务查询参考，并不影响实际流程，从系统结构上来说 ...
分类：
其他好文 时间：
2018-05-29 16:16:26
阅读次数：
204
上一篇文章，写了 mongodb常规操作，继续写入，本章主要讲高级查询，文本，聚集，大数据查询。 Mongodb的查询语法是很多的，是NOSQL队伍中比较丰富的一个。当然有很多查询跟关系型查询无法相比。例如联表查询，Mongodb并不擅长联表查询，虽然出一个$lookup支持两个集合之间关联，不过跟 ...
分类：
数据库 时间：
2018-01-10 18:38:43
阅读次数：
235
方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2, ...
分类：
数据库 时间：
2017-09-30 19:36:21
阅读次数：
281
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在nu... ...
分类：
数据库 时间：
2017-09-08 18:35:40
阅读次数：
283
1、Like语句是否属于SARG取决于所使用的通配符的类型如：name like ‘张%’ ，这就属于SARG而：name like ‘%张’ ,就不属于SARG。原因是通配符%在字符串的开通使得索引无法使用。2、or 会引起全表扫描 Name=’张三’ and 价格>5000 符号SARG，而：N ...
分类：
其他好文 时间：
2017-08-18 18:24:13
阅读次数：
165
Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结 合紧密。本文将为您介绍Kudu的一些基本 ...
分类：
Web程序 时间：
2017-08-18 14:27:26
阅读次数：
269
在sqlserver大数据查询中，避免不了查询效率减慢，暂且抛弃硬件原因和版本原因，仅从sql语句角度分析。 一. sql 语句性能不达标，主要原因有一下几点： 1. 未建索引，检索导致全表扫描 2. 已建索引，但是未走索引导致索引失效，进而全表扫描。 3. 没有有效的索引视图 二. sql 语句优 ...
分类：
数据库 时间：
2017-07-17 13:10:54
阅读次数：
260
今天在sql 查询中一个表中查询花了至少20秒时间，数据为620000行，sql语句如下： 测试一：使用order by 单单只是查询0,10行数据，耗时27.888s select a.id,a.county_id,a.county_name,a.town_id,a.town_name,a.vil ...
分类：
数据库 时间：
2017-07-06 23:58:55
阅读次数：
412
关于presto部署及详细介绍请参考官方链接 http://prestodb-china.com PRESTO是什么？ Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互 ...
分类：
其他好文 时间：
2017-04-16 20:29:11
阅读次数：
1077
