码迷,mamicode.com
首页 >  
搜索关键字:Avro    ( 178个结果
Combine small files to Sequence file
Combine small files to sequence file or avro files are a good method to feed hadoop.Small files in hadoop will take more namenode memory resource.Sequ...
分类:其他好文   时间:2015-02-22 12:16:15    阅读次数:150
Avro基础
一、Avro的基本功能 1、定义了数据模式文件的语法,一般使用json文件。以及一些数据基本类型与复杂类型。 2、定义了数据序列化到文件后的数据格式,此格式可供各种语言进行读取。 3、为部分语言定义了序列化文件的读取API,如JAVA等。 4、扩展了hadoop的基本mapreduce,提供了用于使用Avro作为输出框架的mapreduce API。 二、Gora中的avro ...
分类:其他好文   时间:2015-02-14 20:05:04    阅读次数:151
跨语言通信方案的比较—Thrift、Protobuf和Avro
常用的跨语言通信方案:基于SOAP消息格式的WebService基于JSON消息格式的RESTful 服务以上两种方案的弊端:XML体积太大,解析性能极差JSON体积相对较小,解析相对较快,但表达能力较弱现在比较流行的跨语言通信方案:Google protobuf (http://code.goog...
分类:编程语言   时间:2015-01-29 12:22:07    阅读次数:1205
海量WEB日志分析
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra,...
分类:Web程序   时间:2015-01-13 01:28:23    阅读次数:278
开源跨平台数据格式化框架概览
说到数据格式化框架,就不得不提到 Google 的 Protocol Buffers,Facebook 的 Thrift,还有 Apache Hadoop 推出的 Avro。Microsoft 最近开源的 Bond 也是一种用于数据格式化的可扩展框架,其适用的应用场景包括服务间通信、大数据存储和处理...
分类:其他好文   时间:2015-01-12 18:58:17    阅读次数:371
SparkSQL External Datasource简易使用之AVRO
下载源码&编译:git clone https://github.com/databricks/spark-avro.gitsbt/sbt packageMaven GAV:groupId: com.databricks.sparkartifactId: spark-avro_2.10version...
分类:数据库   时间:2014-12-24 11:31:53    阅读次数:305
Spark SQL之External DataSource外部数据源(一)示例
一、Spark SQL External DataSource简介  随着Spark1.2的发布,Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口,来让开发者可以实现。  这使得Spark SQL支持了更多的类型数据源,如json, parquet, avro, csv格式。只要我们愿意,我们可以开发出任意的外部数据源来连接到Spark SQL。之前大家...
分类:数据库   时间:2014-12-22 09:31:10    阅读次数:198
Spark SQL之External DataSource外部数据源(二)源码分析
Spark SQL在Spark1.2中提供了External DataSource API,开发者可以根据接口来实现自己的外部数据源,如avro, csv, json, parquet等等。    在Spark SQL源代码的org/spark/sql/sources目...
分类:数据库   时间:2014-12-22 09:29:59    阅读次数:608
跨语言通信框架的比较——Protobuf、Thrift和Avro
一、概述 thrift :是由 Facebook 主导开发的一个跨平台、支持多语言的,通过定义 IDL 文件,自动生成 RPC 客户端与服务端通信代码的工具,以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程...
分类:编程语言   时间:2014-12-19 14:34:37    阅读次数:349
java.lang.NoClassDefFoundError: org/apache/avro/ipc/Responder
java.lang.NoClassDefFoundError: org/apache/avro/ipc/Responder出现了这个异常,代表有依赖包没有找到。。。avro-ipc 是这个,引用上这个就OK啦。
分类:编程语言   时间:2014-12-17 20:28:35    阅读次数:333
178条   上一页 1 ... 14 15 16 17 18 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!