定制avro schema: 创建producer发送对象： 读取schema文件为Schema对象： 解析schema文件 使用Schema对象生成record存储器，并对存储进行序列化： 通过producer发送数据到topic: 打印结果： ...
分类：
其他好文 时间：
2018-07-04 01:03:26
阅读次数：
289
自定义反序列化类： 对于自定义的avro schema结构，需要有自定义的类在consumer时反序列化，反序列化类实例在consumer构造的时候通过参数传入 public class AvroWithSchemaSpecificDeser<T,E> implements Deserializer ...
分类：
其他好文 时间：
2018-06-29 12:05:17
阅读次数：
255
像两个交流一样要找一个互相能理解的语言, 在国内为普通话, 跑国外多用英语相通, 两个进程间通信也需要找一个大家都能理解的数据格式. 简单的如 JSON, XML, 那是自我描述性格式, XML 有 Schema 定义, 但尚无正式的 JSON Schema 规范. 在讲求效率的场合, 纯文本式的数据交换格式无法满足要求, 于是有二进制的 Google Protobuf 和 A
分类：
编程语言 时间：
2018-06-02 11:38:08
阅读次数：
209
Master: #MasterAgentMasterAgent.channels = c1MasterAgent.sources = s1MasterAgent.sinks = k1 #MasterAgent Avro SourceMasterAgent.sources.s1.type = avro ...
分类：
Web程序 时间：
2018-05-28 22:52:40
阅读次数：
325
本文将介绍如何在 Kafka 中使用 Avro 来序列化消息，并提供完整的 Producter 代码共大家使用。 Avro Avro 是一个数据序列化的系统，它可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集型应用，适合于远程或本地大规模数据的存储和交换。因为本文并 ...
分类：
其他好文 时间：
2018-05-09 14:39:29
阅读次数：
212
Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型，允许... ...
分类：
Web程序 时间：
2018-04-25 18:58:11
阅读次数：
351
Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Ooz ...
分类：
其他好文 时间：
2018-04-16 20:37:04
阅读次数：
193
GRPC是google开源的一个高性能、跨语言的RPC框架，基于HTTP2协议，基于protobuf 3.x，基于Netty 4.x +。GRPC与thrift、avro-rpc等其实在总体原理上并没有太大的区别，简而言之GRPC并没有太多突破性的创新。（如下描述，均基于JAVA语言的实现） 对于开 ...
分类：
其他好文 时间：
2018-04-13 14:34:17
阅读次数：
1275
两者都是优秀的序列化框架； Avro创造之初是Hadoop之父Doug为了创造一种更加快捷的序列化方案（此时已经有了thrift），用于Hadoop的HDFS的文件序列化问题。 Thrift一个成熟的序列化+RPC的解决方案；也是一种高效传输的方案，代价就是它采用的是静态的IDL的方式，根据定义的接 ...
分类：
其他好文 时间：
2018-04-05 23:13:16
阅读次数：
238
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2018-02-23 10:44:33
阅读次数：
205
