1. Java序列化工具技术原理比较 Binary Formats & language specific ones JavaBuiltIn （java原生）、JavaManual（根据成员变量类型，手工写）、 FstSerliazation 、 Kryo Binary formats generi ...
分类：
编程语言 时间：
2018-07-04 10:33:25
阅读次数：
174
1. 数据序列化 默认使用的是Java自带的序列化机制。优点是可以处理所有实现了java.io.Serializable 的类。但是Java 序列化比较慢。 可以使用Kryo序列化机制，通常比Java 序列化机制性能高10倍。但是并不支持所有实现了java.io.Serializable 的类。使用 ...
分类：
其他好文 时间：
2017-12-27 18:16:58
阅读次数：
260
测试kryo与jdk的ObjectOutputStream kryo常用设置 InstantiatorStrategy即初始化策略，默认kryo在反序列化对象时需要对象的类有一个零参数构造器，该构造器可以是private的，kryo通过反射调用该构造器来实例化对象。如果没有这样一个构造器，就需要使用 ...
分类：
其他好文 时间：
2017-08-24 01:07:03
阅读次数：
221
近期 有网友看我的“整合Kafka到Spark Streaming——代码演示样例和挑战”文章， 讲 kafka对象 放到 pool 并通过broadcast广播出去： 然后 在开发測试阶段 报错例如以下： 然后就找我，说“代码都跟你的差点儿相同呀，为什么就报这个错呢？” 事实上 对于广播操作。sp ...
分类：
编程语言 时间：
2017-08-11 14:48:37
阅读次数：
519
1、Kryo 的简介 1、Kryo 的简介 Kryo 是一个快速序列化/反序列化工具，其使用了字节码生成机制（底层依赖了 ASM 库），因此具有比较好的运行速度。 Kryo 序列化出来的结果，是其自定义的、独有的一种格式，不再是 JSON 或者其他现有的通用格式；而且，其序列化出来的结果是二进制的（ ...
分类：
其他好文 时间：
2017-07-05 18:49:23
阅读次数：
191
前言 开发调优 调优概述 原则一：避免创建重复的RDD 原则二：尽可能复用同一个RDD 原则三：对多次使用的RDD进行持久化 原则四：尽量避免使用shuffle类算子 原则五：使用map-side预聚合的shuffle操作 原则六：使用高性能的算子 原则七：广播大变量 原则八：使用Kryo优化序列化 ...
分类：
其他好文 时间：
2017-05-23 13:13:59
阅读次数：
317
前言 开发调优 调优概述 原则一：避免创建重复的RDD 原则二：尽可能复用同一个RDD 原则三：对多次使用的RDD进行持久化 原则四：尽量避免使用shuffle类算子 原则五：使用map-side预聚合的shuffle操作 原则六：使用高性能的算子 原则七：广播大变量 原则八：使用Kryo优化序列化 ...
分类：
其他好文 时间：
2017-05-11 20:32:19
阅读次数：
290
storm-starter中TridentHBaseWindowingStoreTopology最终存到hbase后数据的表现形式不是我们需要的， 该例子的row键不是可读字符串，value值看了底层源码像是经kryo编码序列化的结果，不懂。 而且使用的window接口太抽象，不知道怎么进行更精细的 ...
分类：
其他好文 时间：
2017-04-12 23:21:34
阅读次数：
235
尽管被认为风口已过,然而VR硬件仍层出不穷。在今年的CES上，爱奇艺展出了首款VR硬件——4K VR一体机。3月29日，爱奇艺将正式发布这款VR一体机。 据悉，该一体机搭载采用64位Kryo四核架构、14nm的FinFET LPP制程，内置Adero530GPU的高通骁龙821处理器，分辨率为384 ...
分类：
其他好文 时间：
2017-03-29 12:30:27
阅读次数：
275
1.java自带的 2.kryo 3.FST 4.protostuff protobuf的一个缺点是需要数据结构的预编译过程，首先要编写.proto格式的配置文件，再通过protobuf提供的工具生成各种语言响应的代码。由于java具有反射和动态代码生成的能力，这个预编译过程不是必须的，可以在代码执 ...
分类：
其他好文 时间：
2017-02-22 16:52:29
阅读次数：
174
