因项目需要，一次性查询出来的数据过大，内存hold不住，所以特意写成分页查询，减小占用内存。 存储过程如下： 在网上找资料时看见用ROWNUMBER分页效率会更高，但是在测试过程中发现每页所取的数据汇总时有问题，具体什么引起的也没找到原因。【郁闷( ˇ?ˇ )】， 不过还是贴上代码，如果有一样情况的 ...
分类：
数据库 时间：
2017-07-28 18:29:38
阅读次数：
324
在4.0下面，在主线程中訪问网络,假设请求超过6s的话,就会报ANR,那么这就会带来一个问题,假设网络慢或者请求的数据过大时,界面会卡顿,造成界面灵敏性非常差,因此网络请求一般不能放在主线程中操作,google在4.0时做了调整,一般在主线程中请求网络,就会报错,这样就使得我们这些程序猿就不得不启动 ...
分类：
移动开发 时间：
2017-07-05 16:44:29
阅读次数：
189
http://xiaorenwutest.blog.51cto.comMySQL大数据优化以及分解（下篇）前言：在上一章的内容当中说过公司中的数据过大或者访问量过多都会导致数据库的性能降低，过多的损耗磁盘i/o和其他服务器的性能，严重会导致宕机。根据这种情况我们给出了解决方法，那么接下来我们继续：上..
分类：
数据库 时间：
2017-06-23 15:42:55
阅读次数：
230
【问题描述】 输入b，p，k的值，求bp mod k的值。其中b，p，k*k为长整形数。 【输入样例】mod.in 2 10 9 【输出样例】mod.out 2^10 mod 9=7 题目的只要特点是数据过大， 下面先介绍一个原理：A*B%K = (A%K )*(B% K )%K。显然有了这个原理， ...
分类：
其他好文 时间：
2017-03-26 18:41:45
阅读次数：
257
由于基因组数据过大，想进一步用R语言处理担心系统内存不够，因此想着将文件按染色体拆分，发现python，awk，R 语言都能够非常简单快捷的实现，那么速度是否有差距呢，因此在跑几个50G的大文件之前，先用了244MB的数据对各个脚本进行测试，并且将其速度进行对比。 首先是awk处理，awk进行的是逐 ...
分类：
编程语言 时间：
2017-03-26 11:15:18
阅读次数：
237
上次调优Mysql 的时候，发现有些语句并没有用到索引，这引起了我的注意，发现在大数据量的情况下，由于数据的不同，会导致索引策略的更改！ 通过explain命令进行查看发现结果数据过大的话type会变为index。 索引应该尽可能减少区间范围，减少结果。 PS：在昨天的sql'研究中，还发现如果是s ...
分类：
数据库 时间：
2017-03-03 11:45:39
阅读次数：
261
场景：项目开发完之后要部署在不同的环境进行测试，这时候就需要将数据库中的表结构，序号，数据进行迁移，这时候就需要能够熟练的使用plsql。 问题： 导出的表结构，在另一个数据库中无法导入 部分表的数据过大，导致长时间无响应，其实数据仍然在迁移，这个时候就需要找出关键的数据表，对于不需要的数据直接丢弃 ...
分类：
数据库 时间：
2017-01-20 20:50:45
阅读次数：
185
开门见山，问题所在 sql语句性能达不到你的要求，执行效率让你忍无可忍，一般会时下面几种情况。 网速不给力，不稳定。 服务器内存不够，或者SQL 被分配的内存不够。 sql语句设计不合理 没有相应的索引，索引不合理 没有有效的索引视图 表数据过大没有有效的分区设计 数据库设计太2，存在大量的数据冗余 ...
分类：
数据库 时间：
2017-01-16 01:06:31
阅读次数：
213
项目中异步调用 ping 和 nmap 实现对目标 ip 和所在网关的探测 Subprocess.STREAM 不用担心进程返回数据过大造成的死锁, Subprocess.PIPE 会有这个问题. 使用非阻塞线程池, 调用 paramiko 来分发检测任务. ...
分类：
编程语言 时间：
2016-11-23 06:46:09
阅读次数：
227
WX_MAIL有一个content字段为clob类型,保存了邮件的内容,导致数据过大,平均每个content大小为40K。180多W条数据，数据占了60G容量, 上面的SQL为查询所占容量。为此,解决方案为只保存失败的邮件内容,为了失败重发方便,成功则不再保存发送内容。 ...
分类：
数据库 时间：
2016-07-14 15:12:45
阅读次数：
306
