第六章 网络通信 Laxcus大数据管理系统网络建立在TCP/IP网络之上，从2.0版本开始，同时支持IPv4和IPv6两种网络地址。网络通信是Laxcus体系里最基础和重要的一环，为了能够利用有限的网络资源，获得最大化的使用效率，我们根据大数据网络环境的特点，设计了一套专属网络通信协议，以及在此协 ...
分类：
其他好文 时间：
2016-05-12 08:01:45
阅读次数：
267
Laxcus大数据管理系统2.0版本推出有两个多月了，最近做了一次使用情况调查，发现最受欢迎的竟是流式处理。这大大出乎我们推出新版本时的预料。因为当时新版本推出时，流式处理只是做为磁盘数据处理的一项辅助功能而附带提供的，而且最初设计流式处理时，技术上也并没有花太多心思，因为它很容易实现，只是改变一下 ...
分类：
其他好文 时间：
2016-05-12 08:00:13
阅读次数：
190
第十章 运行 本章将介绍一些Laxcus集群基本运行、使用情况，结合图片和表格表示。地点是我们的大数据实验室，使用我们的实验集群。数据来自于我们的合作伙伴，软件平台混合了Windows和Fedora Linux两个操作系统，硬件因为一直以来的测试需要，显得参差不齐，从10年前的旧机器到今天最新的设备 ...
分类：
其他好文 时间：
2016-05-12 07:59:52
阅读次数：
246
总结 以上从多个角度阐述了Laxcus主要组成部分和应用情况。所有设计都是基于现实环境下的评估、对比、测试和考量。设计的基本思路很明确，就是将各项功能分解、细化、归类，形成一个个可以独立、小的模块，每个模块承担一项职能，再把这些模块组织起来，在一个松耦合框架管理下，协同合作，来完成大规模的数据存储和 ...
分类：
其他好文 时间：
2016-05-12 07:59:34
阅读次数：
143
第九章 容错 在当前，由于集群庞大的组织体系和复杂性，以及用户普遍要求低成本硬件，使得集群在运行过程中发生的错误概率，远远高于单一且性能稳定的小型机服务器，并且集群在运行过程中几乎是不允许停止的，这就更需要提供比单机环境复杂得多的错误管理方案。实际上，我们在产品设计、开发、运营的各个阶段，有相当大一 ...
分类：
其他好文 时间：
2016-05-12 07:59:20
阅读次数：
132
第八章 安全 由于安全问题对大数据系统乃至当前社会的重要性，我们在Laxcus 2.0版本实现了全体系的安全管理策略。同时我们也考虑到系统的不同环节对安全管理的需求是不一样的，所以有选择地做了不同的安全设计和处理。图8是Laxcus安全管理架构，首先使用SHA1签名获得基本确认，然后在FIXP网络层 ...
分类：
其他好文 时间：
2016-05-12 07:58:45
阅读次数：
183
后记 Laxcus最早源于一个失败的搜索引擎项目，项目最后虽然终止了，但是项目中的部分技术，包括FIXP协议、Diffuse/Converge算法、以及很多新的数据处理理念却得以保留下来，这些成为后来研发Laxcus的基础。此后又经历过一些海量数据处理项目，因为时代和行业的变化，用关系数据库做底层存 ...
分类：
其他好文 时间：
2016-05-12 07:58:45
阅读次数：
144
Laxcus是Laxcus大数据实验室全体系自主设计研发的多用户多集群大数据管理系统，支持一到百万台级节点，提供零至EB量级数据存储、计算能力，集运行、开发、部署、维护为一体的平台。现在已经在多地部署和投入运营。本文为最新的2.0版本，现逐段发表此文，与诸君共享我们的设计开发经验和体会。...
分类：
其他好文 时间：
2016-05-03 18:31:17
阅读次数：
197
Laxcus是Laxcus大数据实验室全体系自主设计研发的多用户多集群大数据管理系统，支持一到百万台级节点，提供零至EB量级数据存储、计算能力，集运行、开发、部署、维护为一体的平台。现在已经在多地部署和投入运营。本文为最新的2.0版本，现逐段发表此文，与诸君共享我们的设计开发经验和体会。...
分类：
其他好文 时间：
2016-05-03 18:30:35
阅读次数：
179
Laxcus是Laxcus大数据实验室全体系自主设计研发的多用户多集群大数据管理系统，支持一到百万台级节点，提供零至EB量级数据存储、计算能力，集运行、开发、部署、维护为一体的平台。现在已经在多地部署和投入运营。本文为最新的2.0版本，现逐段发表此文，与诸君共享我们的设计开发经验和体会。...
分类：
其他好文 时间：
2016-05-03 18:30:08
阅读次数：
146
