码迷,mamicode.com
首页 > 其他好文 > 详细

0016-Avro序列化&反序列化和Spark读取Avro数据

时间:2018-11-18 23:47:18      阅读:326      评论:0      收藏:0      [点我收藏+]

标签:namespace   二进制   ble   放大   api接口   支持   压缩   scala   jar包   

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.简介

本篇文章主要讲如何使用java生成Avro格式数据以及如何通过spark将Avro数据文件转换成DataSet和DataFrame进行操作。

1.1Apache Arvo是什么?

Apache Avro 是一个数据序列化系统,Avro提供Java、Python、C、C++、C#等语言API接口,下面我们通过java的一个实例来说明Avro序列化和反序列化数据。

  • 支持丰富的数据结构
  • 快速可压缩的二进制数据格式
  • 存储持久数据的文件容器
  • 远程过程调用(RPC)
  • 动态语言的简单集成

2.Avro数据生成

2.1定义Schema文件

1.下载avro-tools-1.8.1.jar

Avro官网:http://avro.apache.org/ Avro版本:1.8.1 下载Avro相关jar包:avro-tools-1.8.1.jar 该jar包主要用户将定义好的schema文件生成对应的java文件

2.定义一个schema文件,命名为CustomerAdress.avsc

{

"namespace":"com.peach.arvo",

"type": "record",

"name": "CustomerAddress",

"fields": [

{"name":"ca_address_sk","type":"long"},

{"name":"ca_address_id","type":"string"},

{"name":"ca_street_number","type":"string"},

{"name":"ca_street_name","type":"string"},

{"name":"ca_street_type","type":"string"},

{"name":"ca_suite_number","type":"string"},

{"name":"ca_city","type":"string"},

{"name":"ca_county","type":"string"},

{"name":"ca_state","type":"string"},

{"name":"ca_zip","type":"string"},

{"name":"ca_country","type":"string"},

{"name":"ca_gmt_offset","type":"double"},

{"name":"ca_location_type","type":"string"}

]

}

Schema说明:

  • namespace:在生成java文件时import包路径
  • type:omplex types(record, enum,array, map, union, and fixed)
  • name:生成java文件时的类名
  • fileds:schema中定义的字段及类型

3.生成java代码文件

使用第1步下载的avro-tools-1.8.1.jar包,生成java code

java -jar avro-tools-1.8.1.jar compile schema CustomerAddress.avsc .

末尾的"."代表java code 生成在当前目录,命令执行成功后显示:

技术分享图片

2.2使用Java生成Avro文件

1.使用Maven创建java工程

在pom.xml文件中添加如下依赖

<dependency>

<groupId>org.apache.avro</groupId>

<artifactId>avro</artifactId>

<version>1.8.1</version>

</dependency>

技术分享图片

2.新建java类GenerateDataApp,代码如下

技术分享图片

技术分享图片

技术分享图片

动态生成avro文件,通过将数据封装为GenericRecord对象,动态的写入avro文件,以下代码片段:

技术分享图片

3. Spark读Avro文件

1.使用Maven创建一个scala工程

在pom.xml文件中增加如下依赖

技术分享图片

技术分享图片

2.Scala事例代码片段

技术分享图片

3.Spark运行结果

技术分享图片

源码地址:

https://github.com/javaxsky/avrotospark

醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
技术分享图片

0016-Avro序列化&反序列化和Spark读取Avro数据

标签:namespace   二进制   ble   放大   api接口   支持   压缩   scala   jar包   

原文地址:http://blog.51cto.com/14049791/2318560

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!