架构（一共使用3台主机，其中nginx主机上运行2个memcached实例，端口分别是11211、11212）环境配置说明：软件：Centos6.7、tomcat8.0、memcached1.4.4、nginx1.4.7、jdk-8u65-linux-x64、实现msm+kryo必须的包，一共9个：（注意：不同版本的tomcat，必须下载对应的memcached-se..
分类：
系统相关 时间：
2016-04-17 17:57:40
阅读次数：
291
def main(args: Array[String]) { val sparkConf = new SparkConf().setMaster("local").setAppName("cocapp").set("spark.kryo.registrator", classOf[HBas...
分类：
其他好文 时间：
2015-12-02 22:21:57
阅读次数：
205
https://spark.apache.org/docs/1.2.1/tuning.html Data Serialization spark现在提供Java serialization和Kryo serialization库 Java serialization比较慢，Kryo serialization比较快 Memory Tuning Determinin...
分类：
其他好文 时间：
2015-09-07 19:51:28
阅读次数：
176
最近 有网友看我的“整合Kafka到Spark Streaming——代码示例和挑战”文章，
讲 kafka对象 放到 pool 并通过broadcast广播出去：
然后 在开发测试阶段 报错如下：
然后就找我，说“代码都跟你的差不多呀，为什么就报这个错呢？”
其实 对于广播操作，spark 肯定要序列号的，还有尽量不要把大对象广播出去，
后来 把代码要过来看了下，发现 creat...
分类：
编程语言 时间：
2015-08-11 16:14:24
阅读次数：
173
在先前的例子中，我用Tomcat官方提供的Session复制方式实现Tomcat集群Session共享。今天，我用另一种方式Memcached-Session-Manager来实现Session共享。话不多说，上实例。Memcached-Session-Manager将Session序列化到Memcache中，序列化的组件有很多，比如：msm-kryo-serializ..
分类：
系统相关 时间：
2015-07-10 16:58:42
阅读次数：
216
目录1、测试环境概述2、MSM简介2.1、MSM的特性2.2、MSM要解决的问题2.3、MSM的工作原理3、环境搭建3.1、memcached安装3.2、jkd与tomcat安装配置3.3、MSMstickysession+kryo模式的配置3.4、MSMno-stickysession+kryo模式的配置4、思考与总结1、测试环境概述采用两台linuxx64主机..
分类：
其他好文 时间：
2015-05-19 07:20:02
阅读次数：
235
Kryo是一个序列化框架。Kryonet是一个基于kryo的RPC框架，它实现了一套高效简洁的API，它通过NIO实现了TCP和UDP通讯，目前还不支持Http。自己写了一个测试代码，运行了下，感觉还不错，记录下来。1、listenerpackage com.mytestcodes.kryonet;...
分类：
Web程序 时间：
2015-05-11 14:39:43
阅读次数：
331
简介：优点缺点Kryo速度快，序列化后体积小跨语言支持较复杂Hessian默认支持跨语言较慢Protostuff速度快，基于protobuf需静态编译Protostuff-Runtime无需静态编译，但序列化前需预先传入schema不支持无默认构造函数的类，反序列化时需用户自己初始化序列化后的对象，...
分类：
编程语言 时间：
2015-05-11 14:29:51
阅读次数：
204
Kryo 是一个快速高效的Java对象图形序列化框架，它原生支持java，且在java的序列化上甚至优于google著名的序列化框架protobuf。由于 protobuf需要编写Schema文件（.proto），且需静态编译。故选择与Kryo类似的序列化框架Hessian作为比较来了解一下Kryo...
分类：
其他好文 时间：
2015-05-11 14:18:39
阅读次数：
248
https://spark.apache.org/docs/1.2.1/tuning.html Data Serialization 数据序列化，对于任意分布式系统都是性能的关键点 Spark默认使用Java serialization，这个比较低效 推荐使用，Kryo serialization，...
分类：
其他好文 时间：
2015-04-21 22:01:44
阅读次数：
172
