码迷,mamicode.com
首页 >  
搜索关键字:Avro    ( 178个结果
avro入门之rpc
关于avro的rpc入门使用,官方给的资料实在是太少了,这个链接https://github.com/phunt/avro-rpc-quickstart有具体说明 现在对在java下使用总结如下: 我这里没有使用maven,直接在项目中加入使用到的jar包有:avro-1.7.7.jar、avro-tools-1.7.7.jar、 jackson-core-asl-1.8.8.jar、jack...
分类:其他好文   时间:2014-12-06 21:36:21    阅读次数:366
用Hadoop构建电影推荐系统
Hadoop家族系列文章, 主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra...
分类:其他好文   时间:2014-11-26 14:09:05    阅读次数:352
Avor -- python
下载与安装:DownloadAvro implementations for C, C++, C#, Java, PHP, Python, and Ruby can be downloaded from theApache Avro? Releasespage. This guide uses Av...
分类:编程语言   时间:2014-11-24 18:44:59    阅读次数:250
Avro、protobuf、thrift
Thrift:Thrift英[θr?ft]美[θr?ft]是Facebook的一个开源项目。用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎,以构建在 C++, Java, Python, JavaScript, Node.js...这些编程语言间无缝结合的、高效的服务它...
分类:其他好文   时间:2014-11-22 22:50:14    阅读次数:1608
Hadoop序列化学习笔记(一)
Hadoop序列化学习笔记...
分类:其他好文   时间:2014-11-10 10:02:27    阅读次数:221
flume1.5
写入hdfsa1.channels.c1.type = memory# Define an Avro source called r1 on a1 and tell it# to bind to 0.0.0.0:41414. Connect it to channel c1.a1.sources.r...
分类:Web程序   时间:2014-10-18 00:33:46    阅读次数:273
Java JSON处理类库Jackson
Jackson是一款为Java平台提供的一套数据处理类库工具,Jackson的主要功能是提供JSON解析和生成,另外,Jackson还提供额外的类库以支持处理Avro, CBOR, CSV, Smile, XML 和 YAML,功能十分强大,在Java中处理JSON数据非常不错。 相关的示例代码: { "name" : { "first" : "Joe", "last" : "Sixp...
分类:编程语言   时间:2014-10-12 20:46:28    阅读次数:219
记Flume-NG一些注意事项(不定时更新,欢迎提供信息)
这里只考虑flume本身的一些东西,对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source: 1、spool-source:适合静态文件,即文件本身不是动态变化的; 2、avro source可以适当提高线程数量来提高此source性能; 3、ThriftSource在使用时...
分类:其他好文   时间:2014-10-09 19:29:07    阅读次数:292
xml,json和各种序列化工具的对比
xml、json的优势,在与可以实现树形数据的存储;可以用来表达各种形式的信息;c/cpp的结构体,也可以用来保存各种形式的信息,在schema这一层,两者是等价的;而pb、thrift、avro-rpc等,都是使用紧凑的结构体来表达非紧凑的树形信息;这样,数据传输量更小,更快;所以,在不考虑资源占...
分类:Web程序   时间:2014-10-03 18:52:15    阅读次数:241
YARN-RPC
运行在YARN平台上面的RPC。当前存在非常多的开源RPC框架,比较著名的有Thrift、Protocol Buffers 和 AVRO。他们均有两部分构成:对象序列化和远程过程调用。重要类:YarnRPCHadoopYarnRPCRpcFactoryProvider。RpcClientFact.....
分类:其他好文   时间:2014-09-10 17:16:50    阅读次数:217
178条   上一页 1 ... 15 16 17 18 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!