在本机上对线下HBase集群做了初步的写性能测试,下面对测试内容做详细说明。
批量写性能提升不少
线上应用最好是禁用buffer刷写功能的,即每一个Put一次RPC写,不过看到这种情况下写速度慢,考虑到机器、网络环境的差别的话,估计能上1K
启用buffer刷写功能的话,要避免未flush的put记录丢失。(HTable在close的时候最后是会自动flush,我们在写服务节点故障的时候也需要flush一次)
Rowkey哈希后性能有小量提升
Rowkey Hash之后对写性能的确有小量提升,但如果要...
分类:
其他好文 时间:
2014-06-19 10:16:00
阅读次数:
296
在做一个多维报表项目时,有个方法传递了一个长字符串的参数,运行时报错:传入的表格格式数据流(TDS)远程过程调用(RPC)协议流不正确。数据库中数据类型为text,可以存储长字符串,所以在代码中找到问题。长字符串的参数定义时候没有定义长度,默认8000长度,长度超出8000会报错SqlParamet...
分类:
其他好文 时间:
2014-06-11 12:31:00
阅读次数:
268
RMI:Remote Method
Invocation是java编程语言里,一种用于实现远程过程调用的应用程序编程接口。它使客户机上运行的程序可以调用远程服务器上的对象。参考:http://zh.wikipedia.org/wiki/Java_RMIJBI:Java
Business Integr...
分类:
其他好文 时间:
2014-06-10 10:16:20
阅读次数:
223
1.SOAP简介1.1应用背景对于应用程序开发来说,使程序之间进行因特网通信是很重要的。目前的应用程序通过使用远程过程调用(RPC)在诸如DCOM与CORBA等对象之间进行通信,但是HTTP不是为此设计的。RPC会产生兼容性以及安全问题;防火墙和代理服务器通常会阻止此类流量。通过HTTP在应用程序间...
分类:
其他好文 时间:
2014-06-09 18:01:37
阅读次数:
181
运行HBase时常会遇到个错误,我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类:
其他好文 时间:
2014-06-08 03:02:50
阅读次数:
395
gearman,从名字上看叫做“齿轮工”,就是通过齿轮把不同的组件组合在一起。通常,多语言多系统之间的集成是项目开发中一个比较头疼的问题。一般会采用RPC风格或者是REST风格的WebService。但是总感觉比较麻烦。gearman就应运而生了,作为一个任务分发架构,它能够轻松的将前端的任务通过J...
分类:
其他好文 时间:
2014-06-07 21:22:12
阅读次数:
296
Binder is like RPC in java. It enables
multi-processes communication. Now we will talking about how to bind service
using IBinder class.总共有3种bind serv...
分类:
其他好文 时间:
2014-06-07 06:29:37
阅读次数:
232
1.rpc服务需rsh的支持,一般情况下rsh已安装。rpm -qa
rsh查看。2.右键另存为http://heanet.dl.sourceforge.net/sourceforge/rstatd/rpc.rstatd-4.0.1.tar.gz下载rpc.rstatd-4.0.1.tar.gz。3...
分类:
系统相关 时间:
2014-06-06 07:01:51
阅读次数:
471
RMI、RPC、SOAP通信技术介绍及比对1、RMI
使用java的程序员,对于RMI(RemoteMethod
Invoke,远程方法调用)一定不陌生,在java中,为了在分布式应用开发时,能够方便调用远程对象,java提供了RMI的API。在 RMI
中,远程对象按照好象它是本地行事,客户机应....
分类:
其他好文 时间:
2014-06-02 11:37:41
阅读次数:
240