1 shell中for循环清理 每次去连接一下mongo, 进行数据的remove操作 echo "Begin ..." >> /root/time.log;
echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;
for((i=1;i<=100000000;i++));
do
objec...
分类：
数据库 时间：
2014-08-27 16:48:08
阅读次数：
261
在新增记录时,HWM会慢慢往上移,但是在删除记录后,HWM却不会往下移。所以在使用delete from命令删除大量数据时会导致因HWM引起的性能问题。
删除高水位的最直接的方法就是truncate Table 但是这种方式太过暴力，所以用以下的方法来删除高水位线。
--删除数据
DELETE FROM GJDS_BUS_OIL_LOG
WHERE VERSION
--...
分类：
数据库 时间：
2014-08-26 17:28:26
阅读次数：
269
大批量插入数据 myisamalter table 表名 disable keys;load dataalter table 表名 enable keys;*************************************关于innodb的大量数据插入的优化1.因为inndb类型的表示按照主...
分类：
数据库 时间：
2014-08-26 15:17:16
阅读次数：
240
rsync+inotify实时数据的同步一、rsync+inotify的组合为什么会出现？？rsync缺陷：1、由于rsync在实施大量数据备份时，工作方式是扫描整个数据文件，其实发生更改的只是一小部分，导致过多的占用系统资源。2、rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的..
分类：
其他好文 时间：
2014-08-23 11:28:01
阅读次数：
301
大数据无疑是今年的热门关键词之一，网络飞速发展，信息时代扑面而来，大量数据涌现。这些数据的价值，若能应用便是一笔财富，若不能挖掘其价值 进行应用，则只是数据，甚至可能是一种负担。安防数据也正在以几何级的速度快速增长，越来越多的安防用户对大数据提出了更高的要求，希望能够通过海量数据 的分析，达到预.....
分类：
其他好文 时间：
2014-08-21 16:48:04
阅读次数：
153
DynamoDB的数据是存储在SSD（Solid State Drive，固态硬盘）,这样可在预测的低延迟响应时间之内，存储和访问任何规模的数据，另外SSD 还具有很高的 I/O 性能，能够处理大规模请求工作负载。我们来看看DynamoDB的不适合的使用场景：如果需要存储大量数据，但这些数据的访问频率很低，则 DynamoDB 可能不太适合。...
分类：
数据库 时间：
2014-08-20 12:32:42
阅读次数：
269
我们操作数据库大量数据时，可能会出现死锁现象。所谓死锁： 是指两个或两个以上的进程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程。 由于资源占用是互斥的，当某个进程提出申请资源后，使...
分类：
数据库 时间：
2014-08-19 18:53:35
阅读次数：
276
转自：http://blog.csdn.net/huaer1011/article/details/2312361在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中，还是进行不同数据源之间的迁移，都不是很方便。而在.Net2.0中，SQLClient命名空间下增加了几个...
分类：
数据库 时间：
2014-08-17 19:52:42
阅读次数：
231
HDFS Architecture
Introduction
HDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为...
分类：
其他好文 时间：
2014-08-17 17:02:32
阅读次数：
249
1.QT多线程涉及到主线程和子线程之间交互大量数据的时候，使用QThread并不方便，因为run()函数本身不能接受任何参数，因此只能通过信号和槽的交互来获取数据，如果只是单方面简单交互数据还过得去，如果涉及多次主、子线程之间的交互的时候，这种方式是很不方便的，这里采取另外一种方式，建一个继承自QO...
分类：
编程语言 时间：
2014-08-13 12:43:36
阅读次数：
251
