1. 批量写入，采用事物方式，先缓存数据，再批量写入数据，极大提高了速度288条，直接inset into 耗时7秒8640条, 批量写入 耗时5-7秒[java]view plaincopytry{this.myDataBase.beginTransaction();//手动设置开始事务for.....
分类：
移动开发 时间：
2015-06-15 23:36:58
阅读次数：
231
如何从HBase中的海量数据中，以很快的速度的获取大批量数据，这一议题已经在《HBase 高性能获取数据》（http://www.cnblogs.com/wgp13x/p/4245182.html）一文中给出了解决办法。那么，如何向HBase中高性能的插入数据呢？经研究表明，光是批量写入也还是不行。...
分类：
其他好文 时间：
2015-03-06 23:29:18
阅读次数：
216
使用XML向SQL Server 2005批量写入数据——一次有关XML时间格式的折腾经历原文:使用XML向SQL Server 2005批量写入数据——一次有关XML时间格式的折腾经历常常遇到需要向SQL Server插入批量数据，然后在存储过程中对这些数据进行进一步处理的情况。存储过程并没有数组...
分类：
数据库 时间：
2015-03-05 19:09:26
阅读次数：
168
1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regi...
分类：
其他好文 时间：
2015-02-13 11:25:04
阅读次数：
93
预加载缓存
本章介绍了不同的模式，你可以用它来预加载缓存。该模式包括批量装载和分布载荷。
本章包含以下各节：
执行批量加载和处理
执行分布式批量加载
20.1执行批量加载和处理
例20-5， PagedQuery.java ，演示了在一个连贯缓存技术，有效地批量加载和处理项目。
20.1.1批量写入缓存
使用连贯性时，一个常见的场景是预先填充缓存...
分类：
数据库 时间：
2015-02-09 14:15:18
阅读次数：
486
Shell脚本：向磁盘中批量写入数据一、关于本文工作要做的监控系统需要监控磁盘空间的使用率并报警。在测试这个功能的时候需要模拟两个场景：一是磁盘空间不断增长超过设定的阈值时，需要触发报警机制；二是磁盘空间降落到低于报警阈值的时候，不再进行报警。为了测试这两个场景，我写了下面三个脚本：1）initia...
分类：
系统相关 时间：
2014-11-16 18:42:55
阅读次数：
283
一、关于本文 工作要做的监控系统需要监控磁盘空间的使用率并报警。在测试这个功能的时候需要模拟两个场景：一是磁盘空间不断增长超过设定的阈值时，需要触发报警机制；二是磁盘空间降落到低于报警阈值的时候，不...
分类：
系统相关 时间：
2014-11-13 16:54:35
阅读次数：
300
今天，一朋友问我使用JAVA有没有什么办法导出百万级的数据到Excel工作表。 当时我的第一个念头就是这真的是一个好疯狂的念头。然后就想假如真的有这样类似的需求，我自己应该怎么做呢？ ps: 首先科普一下基础知识 Excel 2003及以下的版本。一张表最大支持65536行数据...
分类：
编程语言 时间：
2014-09-24 00:52:35
阅读次数：
717
1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据， 直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的reg...
分类：
其他好文 时间：
2014-09-09 17:40:49
阅读次数：
203
Write a short python script which loops over the image files, encode with base64 and write to OpenERP with XMLRPC1 产品图片是需要转为 base64编码的2：如果需要批量导入，可以吧图片...
分类：
其他好文 时间：
2014-08-18 21:44:42
阅读次数：
282
