title: java自定义序列化协议 tags: [序列化,protobuf] date: 2018/5/15 20:26:25 categories: 开发 java 序列化协议 相信大家见识过很序列化的框架 ： fastjson , hessian ,kryo,protobuf,jdk序列化 ...
分类：
编程语言 时间：
2021-06-28 20:08:42
阅读次数：
0
高性能Java序列化框架Fse发布 [TOC] 使用场景 将Java对象序列化为二进制数据进行保存，以及二进制数据反向序列化为Java对象，在很多场景中都有应用。比如将对象序列化后离线存储至其他介质，或者存储于Redis这样的缓存之中。 目前常见的有几种框架可以支撑，比如 Hession ，Kryo ...
分类：
编程语言 时间：
2020-02-03 16:16:54
阅读次数：
87
今天在开发SparkRDD的过程中出现Buffer Overflow错误，查看具体Yarn日志后发现是因为Kryo序列化缓冲区溢出了，日志建议调大spark.kryoserializer.buffer.max的value，搜索了一下设置keyo序列化缓冲区的方法，特此整理记录下来。 ...
分类：
其他好文 时间：
2020-01-09 01:34:15
阅读次数：
187
可能是版本号不对应（我是用的springboot版本是2.2.1.RELEASE），在使用 ...
分类：
编程语言 时间：
2019-11-27 00:40:39
阅读次数：
146
这个错误是由序列化引起的，可能的原因以及解决方法： 1.kryo对于集合（比如 Map）的反序列化会失效，报这个错误，解决办法比较暴力，不用kryo了，直接用java原生方法。 2.使用Java原生方法要注意，序列化和反序列化的方式，不能直接使用str.getBytes()获取二进制流，应该使用序列 ...
分类：
编程语言 时间：
2019-07-31 15:05:50
阅读次数：
148
RDD的持久化是spark优化中必须掌握的，并且，在内存不足的情况下，我们可以将持久化类型选择为MEMORY_ONLY_SER，减少内存的占用，持久化更多的partition，并且不同的序列化方法也会影响序列化性能。
下面，我们就来测试下，持久化级别和序列化方法的选择对RDD持久化大小的影响。
分类：
其他好文 时间：
2019-05-19 20:38:16
阅读次数：
188
Livy Java api 依赖 业务程序 启动程序 注意、注意、注意！ 上面这个报错是因为 将 写成了 uploadJar 是上传要添加到Spark应用程序类路径中的jar uploadFile 是上传要传递给Spark应用程序的文件 ...
分类：
编程语言 时间：
2019-02-05 22:17:50
阅读次数：
314
1.序列化 对象在进行网络传输或进行持久化时需要进行序列化，如果采用序列化慢或者消耗大量字节的序列化格式，则会拖慢计算。 spark 提供了两种序列化类库 1）. Java serialization 灵活，但是很慢 2） Kryo serialization 比java 快10倍，紧凑，不支持所有 ...
分类：
其他好文 时间：
2018-11-29 01:20:00
阅读次数：
187
问题 因为想在多个应用之间共享用户的登录态，因此实现了自己的 ，使用Kryo把 序列化然后放到redis之中去，同时也使用了 来使用shiro自己的存储。然而之后一直出现丢失更新的问题，例如 分析 DEBUG之后发现，从Subject中取到的Session并不是我们在SessionDAO中创建的Si ...
分类：
其他好文 时间：
2018-11-09 23:26:42
阅读次数：
503
前言：kryo是个高效的java序列化/反序列化库，目前Twitter、yahoo、Apache、strom等等在使用该技术，比如Apache的spark、hive等大数据领域用的较多。 为什么使用kryo而不是其他？ 因为性能足够好。比kyro更高效的序列化库就只有google的protobuf了 ...
分类：
其他好文 时间：
2018-09-18 11:02:13
阅读次数：
248
