Combine small files to sequence file or avro files are a good method to feed hadoop.Small files in hadoop will take more namenode memory resource.Sequ...
分类:
其他好文 时间:
2015-02-22 12:16:15
阅读次数:
150
一、Avro的基本功能
1、定义了数据模式文件的语法,一般使用json文件。以及一些数据基本类型与复杂类型。
2、定义了数据序列化到文件后的数据格式,此格式可供各种语言进行读取。
3、为部分语言定义了序列化文件的读取API,如JAVA等。
4、扩展了hadoop的基本mapreduce,提供了用于使用Avro作为输出框架的mapreduce API。
二、Gora中的avro
...
分类:
其他好文 时间:
2015-02-14 20:05:04
阅读次数:
151
常用的跨语言通信方案:基于SOAP消息格式的WebService基于JSON消息格式的RESTful 服务以上两种方案的弊端:XML体积太大,解析性能极差JSON体积相对较小,解析相对较快,但表达能力较弱现在比较流行的跨语言通信方案:Google protobuf (http://code.goog...
分类:
编程语言 时间:
2015-01-29 12:22:07
阅读次数:
1205
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra,...
分类:
Web程序 时间:
2015-01-13 01:28:23
阅读次数:
278
说到数据格式化框架,就不得不提到 Google 的 Protocol Buffers,Facebook 的 Thrift,还有 Apache Hadoop 推出的 Avro。Microsoft 最近开源的 Bond 也是一种用于数据格式化的可扩展框架,其适用的应用场景包括服务间通信、大数据存储和处理...
分类:
其他好文 时间:
2015-01-12 18:58:17
阅读次数:
371
下载源码&编译:git clone https://github.com/databricks/spark-avro.gitsbt/sbt packageMaven GAV:groupId: com.databricks.sparkartifactId: spark-avro_2.10version...
分类:
数据库 时间:
2014-12-24 11:31:53
阅读次数:
305
一、Spark SQL External DataSource简介 随着Spark1.2的发布,Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口,来让开发者可以实现。 这使得Spark SQL支持了更多的类型数据源,如json, parquet, avro, csv格式。只要我们愿意,我们可以开发出任意的外部数据源来连接到Spark SQL。之前大家...
分类:
数据库 时间:
2014-12-22 09:31:10
阅读次数:
198
Spark SQL在Spark1.2中提供了External DataSource API,开发者可以根据接口来实现自己的外部数据源,如avro, csv, json, parquet等等。 在Spark SQL源代码的org/spark/sql/sources目...
分类:
数据库 时间:
2014-12-22 09:29:59
阅读次数:
608
一、概述
thrift :是由 Facebook
主导开发的一个跨平台、支持多语言的,通过定义 IDL 文件,自动生成
RPC 客户端与服务端通信代码的工具,以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml
这些编程...
分类:
编程语言 时间:
2014-12-19 14:34:37
阅读次数:
349
java.lang.NoClassDefFoundError: org/apache/avro/ipc/Responder出现了这个异常,代表有依赖包没有找到。。。avro-ipc 是这个,引用上这个就OK啦。
分类:
编程语言 时间:
2014-12-17 20:28:35
阅读次数:
333