Laxcus大数据分布计算演示实例

时间：2015-04-23 20:02:17 阅读：165 评论：0 收藏：0 [点我收藏+]

Laxcus大数据管理系统提供了基于Diffuse/Converge分布算法的计算能力。算法的具体介绍详见《Laxcus:大数据处理系统》一文。本图展示了在集群环境下的随机数产生、排序、显示、存储的过程。

        图中终端窗口的文字解释：
        <1>“conduct”，Laxcus系统关键字，是diffuse/converge分布算法的语句化描述。
        <2>“system_sort”，分布计算的中间件命名，名称不区分大小写，但要求集群中唯一。
        <3>“from、to、collect”，conduct命令下的关键字，diffuse/converge分布计算的阶段。
        <4>“sites”，conduct关键字，要求的节点数目(节点是一台逻辑计算机)。
        <5>“writeto”，conduct关键字，指示数据写入文件名。
        <6> “begin、end、total、orderby”，用户的自定义关键字，格式是“名称(数据类型)=参数”。这些关键字由用户定义，用户在自己的中间件中解析和处理。图中的“orderby”是字符串类型，参数与单引号包括（兼容SQL格式），其它是整数类型。

        完整说明：
        这是由多台计算机产生各自的随机生成数字，然后组合协调，进行排序的演示示列。以“system_sort”命名的中间件计算机组件，按照diffuse/converge分布计算机的算法原理，通过终端作用到集群的中间件上执行的过程。
在from阶段，系统启动6台计算机，每台计算机平均分配100(total)个数中的六分之一，产生从-100000到9999999之间的随机数。to阶段有3台计算机，承接from阶段产生的数字，每台计算机平均分配100(total)个数中的三分之一，并对分配到的数字进行排序，排序采用降序方式。数据结果在终端上显示，同时写入一个名为"/notes/records.bin"磁盘文件（这是在Linux系统上的运行实现，如果终端运行在Windows系统，需要改为对应的目录结构）。

另：在实际运行过程中，Laxcus大数据系统将检查参数中要求的中间件节点数目，如果不能达到要求，将自动降为实际可用数目。

技术分享

Laxcus大数据分布计算演示实例

标签：大数据 laxcus diffuse converge 分布计算

原文地址：http://blog.csdn.net/laxcus/article/details/45224353

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行