1.硬件和网络优化(测试服务器的IO,和主机之间的ping值)。2.放弃一些数据安全性和事务性,特别是从库。3.数据库拆分(用户数据与其他数据进行拆分(不同DB,甚至是不同物理机))。4.按照不同业务进行数据库拆分,然后分别做读写分离。5.读写分离不要搞一刀切,要有侧重点。6.增加Web和DB的监控 ...
分类:
其他好文 时间:
2016-12-29 19:55:22
阅读次数:
169
Array ( [0] => Array ( [id] => 19 [receive_id] => 41 [mac] => a4:3d:78:fc:49:50 [staytime] => 400 ) [1] => Array ( [id] => 20 [receive_id] => 42 [mac] ...
分类:
Web程序 时间:
2016-11-14 20:19:31
阅读次数:
205
测试环境 mssql 08 +win7 数据 30W条 二〇一六年十月二十九日 09:04:43 结论: *>1>主键>可空列 推测未论证: 根据情况优先选择* 因*无需判断某一列是否存在数据 1则是每次仍需要判断 ...
分类:
数据库 时间:
2016-10-29 09:44:45
阅读次数:
201
session.flush()是强制和数据库同步 session.clean()是清除session中的缓存 对于批量数据插入的时候优化:减少cpu和内存(缓存)占用量 2.使用原生jdbc进行数据优化 ...
分类:
Web程序 时间:
2016-10-17 07:05:44
阅读次数:
306
一,前言 先做一下场景描述:在mongodb中,我们维护了一个A表,保留近2日的点击信息。A表数据增长很快,每天300万左右。这样即使每日凌晨清理前天数据,到了晚上仍然会有近600万数据。 有个业务需求:需要在不到1s的时间内根据uid查出A表对应的记录。 问题:刚开始时每天也就几十万数据量,没什么 ...
分类:
其他好文 时间:
2016-10-13 07:39:06
阅读次数:
146
最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬,因为合理的创建索引速度还是挺快的,再怎么优化速度也得不到多大提升。不过这些数据有大量的冗余字段和错误信息,极不方便做统计和分析。所以我需要创建一张新表,把旧表中的数据一条一条取出来优化后放回新表; 一. 清除冗 ...
分类:
数据库 时间:
2016-09-17 09:25:39
阅读次数:
179
因为在公司业务需要,经常会有导数据的情况,有的时候需要查询统计的信息比较多,需要查询多个表去取值,有时候可能跨库到sqlserver中,sqlserver中不同的城市对应不同的库,加上数据量比较大,如果不采取合适的方案会对服务器负载影响很大,加上大家都是那个服务器上做操作,很容易使服务器崩溃。 所以 ...
分类:
其他好文 时间:
2016-09-02 13:25:19
阅读次数:
164
WSE3.0框架提供了数据优化传输机制,WSE3.0构建Web服务安全(4):MTOM消息传输优化和文件上传、下载 疑问里进行了介绍。WCF同样也提供了流操作来支持大数据对象的传输和处理优化机制,今天我们WCF分布式开发步步为赢系列的(4):使用流操作(Streaming Operations)优化 ...
分类:
其他好文 时间:
2016-08-09 12:10:27
阅读次数:
310
复习了在学校的时候做的WinForm端的一个学生信息管理系统,用的三层架构,看了一下里面的数据优化类 这个类是用来把对数据库的操作封装成静态方法,增删改查的时候直接调用这个类,减少项目里代码的冗余和方便以后修改。 Dbhelper类代码如下: 调用DbHelper类: 1.返回一个值: 2.返回一个 ...
分类:
数据库 时间:
2016-08-06 12:54:08
阅读次数:
239
如何使用VisualVM远程监控和优化Tomcat和Java程序的内存和CPUJVisualVM是Java继JConsole之后有一款力作,是集成了诸多分析和优化Java程序的工具的工具。我们可以用它来为优化Java程序的内存占用,找出内存泄漏,分析Java程序的CPU占用情况,根据JVisualVM获取到的数据优化JVM配..
分类:
编程语言 时间:
2016-07-03 23:48:04
阅读次数:
431