详说大数据计算的可类化Classable

时间：2015-04-23 20:02:51 阅读：113 评论：0 收藏：0 [点我收藏+]

        可类化(Classable)是Laxcus大数据管理系统提供的一项基础功能，它能够将类转化为一串字节数组，或者逆向将字节数组转化为一个类。这项功能与JAVA提供的序列化(Serializable)非常相似，但是不同之处在于，可类化是可以由用户自己定义的，包括数据的选择、数据的样式、数据结构等一系列的规则。
        这样的好处在于，我们摆脱了JAVA序列化的那种由系统硬性规定的固定格式，可以自由组织我们需要的数据，包括一些可能是私密的数据；不便在于，因为这种自由，程序员需要做些牺牲，编写代码来实现这项技术。
        尽管这样，Laxcus大数据管理系统已经将这项工作做至极简。API中提供了可类化接口，用户需要做的，是在自己的类中继承这个接口，接口只有两个方法：
<1> int build(ClassWriter writer);
<2> int resolve(ClassReader reader);
        第一个方法是将类输出到可类化写入器(ClassWriter)中，写入器能够写入目前已知的所有格式的数据。
        第二个方法是对写入操作的反向动作，把数据从可类化读取器(ClassReader)还原到类里。
        设计可类化的初衷是因为，在之前的Laxcus大数据集群里，负责组织实施大数据计算的中间件计算组件，采用了JAVA系统默认的序列化来产生数据。序列化产生数据量非常庞大，对网络通信、网络计算、数据存储都造成了巨大的担负。更关键的问题是，在序列化的数据里面，有很多数据是计算过程中并不需要的，它们成为大数据计算的数据“鸡肋”。
        目前的Laxcus中间件计算组件，经过可类化改造后，在Laxcus大数据集群里传输的数据量明显减少，普遍减少量在4-5倍左右，个别已经超过10倍。数据在网络中的传输速度，以及计算机对数据的处理反应能力也得到明显的提高。
        可类化对提升大数据能力非常有效。

标签：可类化 classable 大数据 laxcus

原文地址：http://blog.csdn.net/laxcus/article/details/45224225

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行