在本机上对线下HBase集群做了初步的写性能测试,下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的,即每一个Put一次RPC写,不过看到这种情况下写速度慢,考虑到机器、网络环境的差别的话,估计能上1K
启用buffer刷写功能的话,要避免未flush的put记录丢失。(HTable在close的时候最后是会自动flush,我们在写服务节点故障的时候也需要flush一次)
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升,但如果要...
分类:
其他好文 时间:
2014-06-19 10:16:00
阅读次数:
296
最近在做组装稻瘟病的基因组。 估计的基因组大小为40M。 由于没有参考基因组,进行de
novo assembly。 用HGAP策略。需要的有用的pacbio数据量应为400M左右, 选用的seed read 最小长度为6K,
seed的覆盖度应在20倍左右。拼接流程为:1,filtering. 2...
分类:
其他好文 时间:
2014-06-16 10:59:10
阅读次数:
424
记得我腰挂PP机时,我的厕所文学是《故事会》或《知音》,被里面稀奇古怪乱七八糟的感人故事所激动得忘了身上重任,后来有了手机,还是诺基亚232和3310的时候,我的厕所文学有时候是《读者》,有时候是《南方周末》,读者是一个煽情的杂志,我如今骨子里拥有的一些爱心和感恩估计是那时培育的,南方周末是一份理性大胆的报纸,它培养了我愤青的一面,当然偶尔也会蹲阅墙壁或门上那些极具创意和天赋的涂鸦文字,它们拓宽了...
分类:
移动开发 时间:
2014-06-15 20:08:33
阅读次数:
287
我们在开发一个软件项目的时候,大老板或者客户经常需要我们给他们某个项目估算的工时,我们一般的做法就是把当前的项目按照WBS进行自上而下,自顶而底,自外而里的进行分解;然后根据一个详细的可个人实施的任务作为一个最低的估算时间的单元,这个时候问题,就来了,如何让这个最低的估算时间的单元逼近它的实际真实值,同时也不让员工太闲或者太累?这里给大家介绍一种我们以前用过的乐观估计,悲观估计和期望估计的算法,供大家参考。...
分类:
其他好文 时间:
2014-06-15 19:30:14
阅读次数:
230
开始自己的C++复习进阶之路。
声明:
这次写的博文纯当是一个回顾复习的教程,一些非常基础的知识将不再出现,或者一掠而过,这次的主要风格就是示例代码很多~~~
所有代码在Ubuntu 14.04 LTS
版,GCC4.8.1(g++)编译通过。其他的平台没试过,估计有些代码在VC6.0下面通过不了,因为有些语言特性是C++11标准的。
下面就是正文的开始吧。
一、C...
分类:
编程语言 时间:
2014-06-14 06:53:50
阅读次数:
435
昨天看了《COM本质论》的第一章”COM是一个更好的C++”,觉得很有必要做一些笔记,于是整理成这篇文章,我相信你值得拥有。
这篇文章主要讲的内容是:一个实现了快速查找功能的类FastString,在一个小小的需求之后,慢慢的演变成一个COM组件的过程。
类FastString实现了一个快速查找字符串的功能,快到时间复杂度是O(1),我们先不管作者是怎么实现的,估计是通过空间换时间。由于这个类查找字符串很快,于是作者就把这个类当做一个产品,以源码的方式卖给需要的厂商,厂商用后感觉很好,但有的厂商想要获得...
分类:
编程语言 时间:
2014-06-13 21:41:58
阅读次数:
360
回顾一些参数估计的方法,包括梯度下降算法和牛顿法及其扩展梯度下降算法(Gradient
Descent, GD)目的是优化参数,使得估计值与真实值的误差最小。试用于优化目标形式为:其中表示特征权重,表示样本的以维特征描述,为样本。1,
批梯度下降算法(batch gradient decent, B...
分类:
其他好文 时间:
2014-06-12 15:20:17
阅读次数:
526
背景介绍
在把重要的数据直接存储到数据库中的时候,可能有一些不法份子通过漏洞来直接访问到我们的数据库,那么就可以轻易而据的盗取到我们的用户名和密码。
在平常生活中,估计我们大多数人都在用同一个邮箱来注册各个网站,一旦某个网站被泄露后,那么我们所有网站的隐私都会被泄露。
以上也在告诉我们,不要把密码明文保存。
定义
Message Digest Algori...
分类:
其他好文 时间:
2014-06-10 07:07:06
阅读次数:
266