https://spark.apache.org/docs/1.2.1/tuning.html Data Serialization 数据序列化，对于任意分布式系统都是性能的关键点 Spark默认使用Java serialization，这个比较低效 推荐使用，Kryo serialization，...
分类：
其他好文 时间：
2015-04-21 22:01:44
阅读次数：
172
jQuery是在web应用中使用的脚本语言之一，因其具有轻量级,易学易用等特点，已广泛应用，其中的ajax封装简化了我们的应用，对其表单数据序列化用如下方法：1.serialize()方法 格式：var data = $("#formID").serialize(); 格式：var data = ....
分类：
Web程序 时间：
2015-04-20 16:45:08
阅读次数：
182
最近用protobuf来做对象的序列化（不知道我这么表达对不对），用的是百度的jprotobuf，使用注解，当然还有不使用注解的经典方式，本人没用过，发现工作中的竟然在JDK7报错（真怀疑为啥生产用JDK6，现在JDK8了都）只好在github下了最新的，当然google的jar包仍然是必须的
不过有个疑问，protobuf的好处仅仅是为了提供一个兼容跨平台的格式吗，既然最后都是...
分类：
其他好文 时间：
2015-04-01 00:30:16
阅读次数：
145
因为Spark是内存当中的计算框架，集群中的任何资源都会让它处于瓶颈，CPU、内存、网络带宽。通常，内存足够的情况之下，网络带宽是瓶颈，这时我们就需要进行一些调优，比如用一种序列化的方式来存储RDD来减少内存使用，这边文章就讲两种方式，数据序列化和内存调优，接下来我们会分几个主题来谈论这个调优问题。...
分类：
其他好文 时间：
2015-03-19 17:56:12
阅读次数：
173
学习ASP.NET MVC一年多来，现在该学学Web Api了。API与ASP.NET MVC的Controller差不多。前者只是返回数据序列化和发送给客户端； 后者返回View或Render View。当你在专案中创建第一个Web Api时，它会自动产生一个文档和修改了web.config。如我...
本文在于巩固基础先了解什么是protobufProtobuf是google开源的一个项目，用户数据序列化反序列化，google声称google的数据通信都是用该序列化方法。它比xml格式要少的多，甚至比二进制数据格式也小的多。Protobuf格式协议和xml一样具有平台独立性，可以在不同平台间通信，...
分类：
Web程序 时间：
2015-03-02 16:26:31
阅读次数：
130
一、Avro的基本功能
1、定义了数据模式文件的语法，一般使用json文件。以及一些数据基本类型与复杂类型。
2、定义了数据序列化到文件后的数据格式，此格式可供各种语言进行读取。
3、为部分语言定义了序列化文件的读取API，如JAVA等。
4、扩展了hadoop的基本mapreduce，提供了用于使用Avro作为输出框架的mapreduce API。
二、Gora中的avro
...
分类：
其他好文 时间：
2015-02-14 20:05:04
阅读次数：
151
Spark 优化
· 数据序列化
· 内存优化
o 确定内存使用
o 调整数据结构
o 序列化的RDD存储
o 垃圾回收调整
· 其它注意事项
o 并行粒度
o Reduce任务内存使用
o 广播大的变量
o 数据本地性
· 总结
基于内存的计算（当然也可以用磁盘）是Spark的一个重...
分类：
其他好文 时间：
2015-02-10 13:31:11
阅读次数：
204
本文讲解2点：1. fastjson生成和解析json数据(举例：4种常用类型:JavaBean,List,List,List)2.通过一个android程序测试fastjson的用法。fastjson简介：Fastjson是一个Java语言编写的高性能功能完善的JSON库。fastjson采用独创...
分类：
Web程序 时间：
2015-01-23 19:58:45
阅读次数：
222
还是从需求出发。在开发App的时候，经常需要缓存一些数据，不至于每次打开App都是空的，需要从网络下载数据。例如新闻客户端，需要缓存上次打开的新闻。
一般的做是使用SQLite数据库来保存数据，或者把数据序列化写到本地文件中。这两中方法，我在之前的项目中都用过。我先来说一下这两种方法的缺点：
使用SQLite数据库保存： 对于保存缓存数据来说，这样做未免太重量级了，存取数据都比较麻烦。...
分类：
移动开发 时间：
2015-01-10 18:15:21
阅读次数：
262
