大数据量的系统的数据库结构如何设计：1、把你表中经常查询的和不常用的分开几个表，也就是横向切分2、把不同类型的分成几个表，纵向切分3、常用联接的建索引4、服务器放几个硬盘，把数据、日志、索引分盘存放，这样可以提高IO吞吐率5、用优化器，优化你的查询6、考虑冗余，这样可以减少连接7、可以考虑建立统计表...
分类：
数据库 时间：
2015-04-24 18:28:26
阅读次数：
179
一、数据库结构的设计如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱...
分类：
数据库 时间：
2015-04-20 13:08:29
阅读次数：
182
在mysql中如果是小数据量分页我们直接使用limit x,y即可，但是如果千万数据使用这样你无法正常使用分页功能了，那么大数据量要如何构造sql查询分页呢？般刚开始学SQL语句的时候，会这样写代码如下:代码如下复制代码SELECT * FROM table ORDER BY id LIMIT 10...
分类：
数据库 时间：
2015-03-19 18:02:21
阅读次数：
218
mysql 大数据分页和索引使用使用覆盖索引一个表建立在id,create_time上建立了索引。如下2个sql语句，执行时间一样。 因为查询字段id被索引覆盖。 select id from order_manage where create_time > '2014-01-01' or...
分类：
数据库 时间：
2014-12-30 18:47:29
阅读次数：
171
原文:mysql索引优化mysql 大数据分页和索引使用
使用覆盖索引 一个表建立在id,create_time上建立了索引。
如下2个sql语句，执行时间一样。 因为查询字段id被索引覆盖。
select id from order_manage where create_time > '2014...
分类：
数据库 时间：
2014-12-30 14:48:02
阅读次数：
179
MySQL大数据操作注意事项http://netkiller.github.io/journal/mysql.parallel.htmlMr.NeoChen(netkiller),陈景峰(BG7NYT)目录1.关于delete2.关于update3.关于创建索引4.关于OPTIMIZE5.关于切换引擎6.确保SELECT不被受阻1.关于deletedeletefrommytable必死无疑，你需要分批删除..
分类：
数据库 时间：
2014-12-17 13:04:29
阅读次数：
232
select * from user limit 0,10; 这种最普通的方法在数据量不大的时候是没问题的
当数据量大于100W的时候 ，就要 select * from user limit 1000000,10 ; 此时数据库
要先扫过前面的100W条记录，再来取10条，所以当数据量越来越大的时候，速度也会越来越慢。
解决方案：
1、从业务上解决，限制最多只能取前70页...
分类：
数据库 时间：
2014-12-02 22:34:21
阅读次数：
194
一、基本概念 大数据也称之为LOB(Large Objects)，LOB又分为：clob和blob，clob用于存储大文本，blob用于存储二进制数据，例如图像、声音、二进制文等。 在实际开发中，有时是需要用程序把大文本或二进制数据直接保存到数据库中进行储存的。 对MySQL而言只有blob，...
分类：
数据库 时间：
2014-10-18 11:07:37
阅读次数：
254
总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后在生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。1 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读不出来。开始以为是ser...
分类：
数据库 时间：
2014-09-05 19:37:31
阅读次数：
351
