概述：分布式文件系统+分布式存储+分布式处理

标签：style   blog   http   color   os   使用   ar   strong   文件   

一、分布式文件系统

1、概念分析：

• 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
• 分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。

2、系统分类：

• 网络文件系统(NFS)最早由Sun微系统公司作为TCP/IP网上的文件共享系统开发。
• KASS系统(AFS) 结构与NFS相似，由卡内基·梅隆大学信息技术中心(ITC)开发、现由前ITC职员组成的Transarc公司负责开发和销售。AFS较NFS有所增强。
• DFS系统(DFS) 是AFS的一个版本，作为开放软件基金会(OSF)的分布分布式文件系统式计算环境(DCE)中的文件系统部分。
  • 如果文件的访问仅限于一个用户，那么分布式文件系统就很容易实现。可惜的是，在许多网络环境中这种限制是不现实的，必须采取并发控制来实现文件的多用户访问，表现为如下几个形式：

• • 1、只读共享：任何客户机只能访问文件，而不能修改它，这实现起来很简单。
    2、受控写操作：采用这种方法，可有多个用户打开一个文件，但只有一个用户进行写修改。而该用户所作的修改并不一定出现在其它已打开此文件的用户的屏幕上。
    3、并发写操作：这种方法允许多个用户同时读写一个文件。但这需要操作系统作大量的监控工作以防止文件重写，并保证用户能够看到最新信息。这种方法即使实现得很好，许多环境中的处理要求和网络通信量也可能使它变得不可接受。

• 数据软件(Yonghong Data Mart)是一款数据存储、数据处理的软件。
  • Yonghong Data Mart采用基于ZDFS的分布式列存储系统，就是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
  • Yonghong Data Mart的分布式文件存储系统 (ZDFS)是在Hadoop HDFS基础上进行的改造和扩展，将服务器集群内所有节点上存储的文件统一管理和存储。这些节点包括唯一的一个NamingNode，在 ZDFS 内部提供元数据服务；许多MapNode，提供存储块。存储在 ZDFS 中的文件被分成块，然后将这些块复制到多个计算机中（Map Node）。这与传统的 RAID 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。Naming Node监控存在服务器集群内所有节点上的文件操作，例如文件创建、删除、移动、重命名等等。

3、NFS介绍：

（1）NFS定义：

• （NFS）（Network File System）是个分布式的客户机/服务器文件系统。NFS的实质在于用户间计算机的共享。用户可以联结到共享计算机并像访问本地硬盘一样访问共享计算机上的文件。管理员可以建立远程系统上文件的访问，以至于用户感觉不到他们是在访问远程文件。
• NFS是个到处可用和广泛实现的开放式系统。

（2）NFS设计目标：

• 允许用户象访问本地文件一样访问其他系统上的文件。提供对无盘工作站的支持以降低网络开销。
• 简化应用程序对远程文件的访问使得不需要因访问这些文件而调用特殊的过程。
• 使用一次一个服务请求以使系统能从已崩溃的服务器或工作站上恢复。
• 采用安全措施保护文件免遭偷窃与破坏。
• 使NFS协议可移植和简单，以便它们能在许多不同计算机上实现，包括低档的PC机。
• 大型计算机、小型计算机和文件服务器运行NFS时，都为多个用户提供了一个文件存储区。工作站只需要运行TCP/IP协议来访问这些系统和位于NFS存储区内的文件。工作站上的NFS通常由TCP/IP软件支持。对DOS用户，一个远程NFS文件存储区看起来是另一个磁盘驱动器盘符。对Macintosh用户，远程NFS文件存储区就是一个图标。

（3）NFS部分功能：

• 服务器目录共享 服务器广播或通知正在共享的目录，一个共享目录通常叫做出版或出口目录。有关共享目录和谁可访问它们的信息放在一个文件中，由操作系统启动时读取。
• 客户机访问 在共享目录上建立一种链接和访问文件的过程叫做装联(mounting)，用户将网络用作一条通信链路来访问远程文件系统。
• NFS的一个重要组成是虚拟文件系统(VFS)，它是应用程序与低层文件系统间的接口。

（4）NFS操作：

4、AFS服务器：

• Andrew File System(AFS)Andrew文件系统(AFS)
• AFS是专门为在大型分布式环境中提供可靠的文件服务而设计的。它通过基于单元的结构生成一种可管理的分布式环境。一个单元是某个独立区域中文件服务器和客户机系统的集合，这个独立区域由特定的机构管理。通常代表一个组织的计算资源。用户可以和同一单元中其他用户方便地共享信息，他们也可以和其他单元内的用户共享信息，这取决于那些单元中的机构所授予的访问权限。
• 文件服务器进程 这个进程响应客户工作站对文件服务的请求，维护目录结构，监控文件和目录状态信息，检查用户的访问。
• 基本监察(BOS)服务器进程 这个进程运行于有BOS设定的服务器。它监控和管理运行其他服务的进程并可自动重启服务器进程，而不需人工帮助。
• 卷宗服务器进程 此进程处理与卷宗有关的文件系统操作，如卷宗生成、移动、复制、备份和恢复。
• 卷宗定位服务器进程 该进程提供了对文件卷宗的位置透明性。即使卷宗被移动了，用户也能访问它而不需要知道卷宗移动了。
• 鉴别服务器进程 此进程通过授权和相互鉴别提供网络安全性。用一个“鉴别服务器”维护一个存有口令和加密密钥的鉴别数据库，此系统是基于Kerberos的。
• 保护服务器进程 此进程基于一个保护数据库中的访问信息，使用户和组获得对文件服务的访问权。
• 更新服务器进程 此进程将AFS的更新和任何配置文件传播到所有AFS服务器。
• AFS还配有一套用于差错处理，系统备份和AFS分布式文件系统管理的实用工具程序。例如，SCOUT定期探查和收集AFS文件服务器的信息。信息在给定格式的屏幕上提供给管理员。设置多种阈值向管理者报告一些将发生的问题，如磁盘空间将用完等。另一个工具是USS，可创建基于带有字段常量模板的用户帐户。Ubik提供数据库复制和同步服务。一个复制的数据库是一个其信息放于多个位置的系统以便于本地用户更方便地访问这些数据信息。同步机制保证所有数据库的信息是一致的。

二、分布式存储系统

1、引入：

• 为了简化用户端的使用，提供了一个分布式缓存系统来提供对此分布式存储系统的访问接口以及本地数据缓冲以降低网络压力。

2、简介：

• 分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

3、存储方案：

1. 分布式存储，集中管理；
2. 基于iSCSI技术的IPSAN（STorageAreaNetwork）；
3. 流媒体网关可以作为存储解决方案的核心设备。

4、视频监控系统的应用解决方案

三、分布式处理

1、引入：

• distributed processing（分布式处理）分布式处理系统与并行处理系统都是计算机体系结构中的两类。并行处理系统是利用多个功能部件或多个处理机同时工作来提高系统性能或可靠性的计算机系统，这种系统至少包含指令级或指令级以上的并行。

2、简介：

• 并行处理系统的研究与发展涉及计算理论，算法，体系结构，软硬件多个方面，但它与分布式处理系统有密切的关系，随着通信技术的发展，两者的界限越来越模糊。广义上说分布式处理也可以认为是一种并行处理形式。而分布式处理系统将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务的计算机系统。一般认为，集中在同一个机柜内或同一个地点的紧密耦合多处理机系统或大规模并行处理系统是并行处理系统，而用局域网或广域网连接的计算机系统是分布式处理系统。松散耦合并行计算机中的并行操作系统有时也称为分布式处理系统。
• 分布式处理系统包含硬件，控制系统，接口系统，数据，应用程序和人等六个要素。而控制系统中包含了分布式操作系统，分布式数据库以及通信协议等。
• 分布式计算环境是在具有多地址空间的多计算机系统上进行计算和信息处理的软件环境。而分布式软件系统是支持分布式处理的软件系统，它包括分布式操作系统，分布式程序设计语言及其编译系统，分布式文件系统和分布式数据库系统等。而CORBA，COM+等是设计分布式软件系统的一些技术。
• 通俗地讲，分布式处理就是多台相连的计算机各自承担同一工作任务的不同部分，在人的控制下，同时运行，共同完成同一件工作任务．
• 由多个自主的、相互连接的信息处理系统，在一个高级操作系统协调下共同完成同一任务的处理方式。
• 利用网络技术能把许多小型机或微机连接成具有高性能的计算机系统，使其具有解决复杂问题的能力。

3、构建方式：

• 一般信息处理系统的硬件、控制点和数据库有多种构成方式。从硬件组成来看属于分布式系统的有两种：①系统由多个处理机组成，但是有统一的输入输出系统；②多计算机系统，有多个输入输出系统。从控制点的设置方式来看属于分布式处理的有 3种：①多个系统在子任务一级上协同操作执行某一任务；②多个相同的控制系统协同执行同一任务；③多个不同的控制系统协同执行同一任务。从数据库来看属于分布式的有 3种：①只有部分数据库在主结点中有复制本；②只有部分数据库在主结点中有目录；③数据库全部分散存放，没有主结点。
• 分布式处理系统必须有能力在短时间内动态地组合成面向不同服务对象的系统。对用户来说系统是透明的，用户只需指定系统干什么而不必指出哪个部件可以提供这一服务。系统各组成部分是自主的，但不是无政府状态，而是遵循某个主计划由高级操作系统进行协调工作。在一个计算机网中有多台主机不一定都是分布式处理。如果这样的系统不具备动态组合及任务再指派的能力，那么它们仍然是集中式处理。高级操作系统是分布式处理的关键。在分布式系统中不再使用完整的信息，各个组成部分提供自己的状态信息，高级操作系统根据这些状态信息进行任务协调和资源再分配，各组成部分之间没有层次关系而是自主的。

4、典型应用：

• 分布式拼接处理器 —— 处理器分布式架构方案应用优点：

• 1、分布式拼接处理器——是新推出的网络化、数字化、高可靠性、高实时性、高灵活性、高扩展性以及独创图形拼接同步技术（ESYNC）的分布式节点机图像处理系统，是针对目前众多行业复杂多变的可视化信息显示应用需求研发的大屏幕显示墙易拼接系统。
  2、分布式拼接处理器——采用网络分布式架构设计，基于，轻松实现多级网段子系统显示墙数据业务信息安全可靠地互联互动指挥调度决策。
  即在网络环境中，信号输入节点机可根据不同地点、不同信号类型、不同性质等进行分布式信号源优化分组；而显示输出节点机亦可根据不同地点、不同大楼、不同场合任意组合拼接，各自可分别自定义，将原有的信号源图像进行单屏、跨屏、全墙显示扩展为跨楼层、跨地点、跨显示墙系统显示，实现多个指挥调度中心/控制室平台的大屏幕系统间信号源共享显示和远程调用显示。
  完美解决视频调度指挥中心显示墙与决策室、分析调研室、会商室等显示墙之间的全屏信息同步显示，有利于决策室领导决策指挥、调度、同墙模拟观演，有助于控制中心人员接受指令、准确判断，同时真正意义上做到前端信号系统、显示系统、控制系统、决策机构互相调度与备份。
  3、分布式拼接处理器——由于采用网络分布式架构，基于超五类CATe5及其以上规格网线传输，易拼接系统布线更加方便简洁，传输距离更远；使得大屏显示墙无需要昂贵的高品质DVI/HDMI/VGA长线缆、光纤或者增加延长器方式的应用方案，易拼接系统的建造成本大为降低，同时又区别于其他类型大屏拼接器体系。

   

概述：分布式文件系统+分布式存储+分布式处理

标签：style   blog   http   color   os   使用   ar   strong   文件   

原文地址：http://www.cnblogs.com/xymqx/p/3966215.html