Building Apache Thrift on CentOS 6.5 Starting with a minimal installation, the following steps are required to build Apache Thrift on Centos 6.5. This ...
分类:
Web程序 时间:
2016-09-02 18:48:50
阅读次数:
159
Avro是个支持多语言的数据序列化框架,支持c,c++,c#,python,java,php,ruby,java。他的诞生主要是为了弥补Writable只支持java语言的缺陷。1AVRO简介很多人会问类似的框架还有Thrift和Protocol,那为什么不使用这些框架,而要重新建一个框架呢,或者说Avro有哪些不同。首..
分类:
其他好文 时间:
2016-09-02 01:01:09
阅读次数:
187
前面已经介绍了如何利用Thrift Source生产数据,今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据 那么当Flume的channel收到数据的时候,会根据配置文件主动把数据event发送到Kafka的broker上,所以只要 ...
分类:
Web程序 时间:
2016-08-30 01:45:16
阅读次数:
258
1. 背景
1.1. 惊人的性能数据
最近一个圈内朋友通过私信告诉我,通过使用Netty4 + Thrift压缩二进制编解码技术,他们实现了10W TPS(1K的复杂POJO对象)的跨节点...
分类:
Web程序 时间:
2016-08-29 09:14:23
阅读次数:
262
Flume OutOfMemoryError错误 运行Flume没多久就报下面的异常: 2016-08-24 17:35:58,927 (Flume Thrift IPC Thread 8) [ERROR - org.apache.flume.channel.ChannelProcessor.pro ...
分类:
Web程序 时间:
2016-08-27 20:45:31
阅读次数:
401
Flume简介与使用(二)——Thrift Source采集数据 继上一篇安装Flume后,本篇将介绍如何使用Thrift Source采集数据。 Thrift是Google开发的用于跨语言RPC通信,它拥有功能强大的软件堆栈和代码生成引擎,允许定义一个简单的IDL文件来生成不同语言的代码,服务器端 ...
分类:
Web程序 时间:
2016-08-27 19:14:01
阅读次数:
377
一、HDFS基本概念HDFS全称是HadoopDistributedSystem。HDFS是为以流的方式存取大文件而设计的。适用于几百MB,GB以及TB,并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改,则并不是十分适合。目前HDFS支持的使用接口除了Java的还有,Thrift、..
分类:
其他好文 时间:
2016-08-26 15:45:34
阅读次数:
2171
基础知识 Dubbo是什么:Dubbo是一个分布式的服务框架,提供高性能和透明化的RPC远程调用方案,以及SOA服务治理方案 Dubbo涉及的知识: 远程调用:RMI、hassion、webservice、thrift 通信交互:HTTP、mina、netty 序列化:hessian2、java、j ...
分类:
其他好文 时间:
2016-08-25 23:25:06
阅读次数:
118
使用Dubbo进行远程调用实现服务交互,它支持多种协议,如Hessian、HTTP、RMI、Memcached、Redis、Thrift等等。由于Dubbo将这些协议的实现进行了封装了,无论是服务端(开发服务)还是客户端(调用服务),都不需要关心协议的细节,只需要在配置中指定使用的协议即可,从而保证..
分类:
其他好文 时间:
2016-08-15 22:50:52
阅读次数:
762
使用Dubbo进行远程调用实现服务交互,它支持多种协议,如Hessian、HTTP、RMI、Memcached、Redis、Thrift等等。由于Dubbo将这些协议的实现进行了封装了,无论是服务端(开发服务)还是客户端(调用服务),都不需要关心协议的细节,只需要在配置中指定使用的协议即可,从而保证..
分类:
其他好文 时间:
2016-08-14 22:28:30
阅读次数:
112