码迷,mamicode.com
首页 > 其他好文 > 详细

全面解析DDN存储和HPC解决方案

时间:2017-04-06 14:56:15      阅读:367      评论:0      收藏:0      [点我收藏+]

标签:tap   nbsp   share   build   组件   视频   可靠   设备   define   

技术分享

DataDirect Networks成立于1998年,是一家高性能存储产品的厂商,其提供的存储系统主要服务于大容量和高带宽应用。比如高性能计算领域,以及影片和视频的制作及分发等领域。HP也曾采用DDN作为其高性能计算解决方案的组成部分,IBM DSC9900 也是OEM自DDN的S2A9900

技术分享

DDN存储可以分为四种存储服务块设备、文件、对象以及计算存储融合;三个平台S2A、SFA、WOS

S2A平台架构

S2A并行的架构提供Block存储服务,提供并行主机接口访问,后端并行读写,LUN跨多个Tier( 即Direct Raid技术);Tiers是一组磁盘的集合,而独特的Tier机制,提高LUN读写的并发性,提高单个LUN的性能。

技术分享

每个Tier内部类似于Raid 3(8+1)或者Raid 6(8+2)Tiers之间类似于Raid 0实现数据可靠性。

除了Direct Raid技术,DDN有完善的电源管理方式,可以根据用户的需要对整个存储系统进行动态的磁盘休眠,这种休眠会更进一步减少电源的消耗。

SFA平台架构

SFA平台主要提供SAN和文件网关服务,该平台表明DDN已经从依赖硬件加速转向软件平台,相比S2A平台硬件,SFA平台无FPGA、无RAID卡,无Tiers,而是用Storage Pool概念,采用RAID 5、6、1代替RAID60

技术分享

基于分布式Cache和通过镜像通道转发,SFA通过镜像通道转发+Cache全镜像实现Active/Active。产品经历了SFA10KX, SFA12K-20/40, SFA12K-20E,下面是Storage Fusion Architecture (SFA)12KX规格,提供基于FC和IB的高性能存储设备,支持GRIDScaler Parallel File Storage System, EXAScaler Parallel File Storage System网关。12KXE(Embedded File Storage Appliance)可以把文件网关部署在控制器的VMs中。

技术分享

WOS平台架构

支持4U高密度60插槽节点,3U 高性能16驱动 WOS节点,支持群集性能比例弹性伸缩,支持复制功能;提供HTTP、 PHP、 Java和 Python API,提供Put、Get、Delete等操作,支持400亿独特的对象,GUI配置和管理。

技术分享

DDN文件网关

DDN网关基于SFA平台,分为NAS网关NASScaler,并行文件系统网关ExaScaler、GridScaler和SAN文件系统xStreamScaler/ MEDIAScaler

在S2A平台架构上, 并行文件系统网关部署在服务器上;在SFA平台架构上,网关可以部署在服务器上,也可以部署在SFA-E平台内,后者是DDN主推的方式。

技术分享

DDN文件网关ExaScaler/GridScaler设备

ExaScalerLustre的MDS、OST、OSS都部署在SFA-E的VM上,不需要额外物理服务器来部署Lustre平行文件系统。GridScalerGPFS的NSD部署在SFA-E的VM上;同样,不需要额外物理服务器来部署Lustre平行文件系统。也可以通过物理网关的方式提供。

DDN文件网关 NASScaler设备

DDN提供三个版本的NAS Scaler系列产品:FAS-1596-GB,FSA-1506-10G和FSA-3192,产品有更新,产品更新以后抽时间在介绍。

NAS Scaler最大支持16个1U单元集群,单个集群最大提供2PB的容量;存储容量支持现有的S2A6620、 SFA10000。最大带宽15GB/s,每秒钟支持数十万次文件操作。

DDN文件网关xStreamScaler/ MEDIAScaler

xStreamScaler是DDN重要的一款产品,在媒资领域的解决方案较多。它是一款SAN 文件系统,同时也可以通过SAN直接访问后端存储(如Apple Xsan share filesystem),主要应用在媒资场景。

技术分享

xStreamScaler还提供了HSM管理特性,如存储Tiers、Dedup等特性,无快照、远程复制特性。NAS Scaler仅仅是集群NAS,而不能通过SAN直接访问后端存储,xStreamScaler可以通过SAN直接访问后端存储。

技术分享

如果仔细看看DDN产品家族,可以清晰看到,除了上述传统SAN、NAS、对象存储和针对HPC的专业存储外,DDN也是紧跟闪存步伐,推出针对HPC场景的Flash存储系统,FlashScale AFA和加速产品IME Burst Buffer

Infinite Memory Engine

IME采用新的I/O供给模式,作为Burst Buffer加速产品,在软件定义存储、计算中间引入了一个全新的新、透明,可扩展,非易失性存储器的存储层,提供低延迟、高带宽和IOPS性能。满足下一代性能消耗科学分析和大数据应用场景。

技术分享

通过IME设备智能缓存或预读数据,可以提供计算峰值业务负载要求,分离峰值和平稳业务性能需求,降低存储在满足峰值业务诉求的投资

技术分享

IME屏蔽由小文件I/O和文件锁定引起的动态地将分段数据对齐成满条带写入的POSIX语义并行文件系统的限制。从下图可以看到,基于S3D湍流模型,计算节点可以同时从IME或从并行文件系统中读取数据,实际上,在计算节点中预先编译安装了DDN提供的并行技术接口和智能数据预期算法,他可以根据数据访问来判断预期下一刻需要访问的数据,并加速到IME中提高带宽性能,当对存储带宽要求不高时,可以直接从并行文件系统读取数据

技术分享

IME满足软件定义存储特性,我们基于软件的方法提供了更多的灵活性选择,从DDN官方材料来看,IME跟并行文件系统、技术节点、网络、HPC应用和部署方式等都是完全解耦,具备很强的通用性。

技术分享

从下面规格可以看出,IME产品基于NVMe协议、支持800G和1.6T SSD磁盘,提供POSIX文件访问接口,支持Scale out到32个节点,整个系统支持1.6TB*48*32存储容量。

技术分享

IME交付方式包含IME14KX、 IME240和纯软件产品和基于存软件方式,DDN提供了一种软件定义防止厂商锁定的交付模式。

IME14KX基于超融合DDN SFA14KX硬件平台,利用业界最新的组件最大限度地提高I/O性能。利用多核处理器,互连和内存技术。集成了业界最广泛的PCIe非阻塞架构。每个IME14KX都可以扩展到48NVMe SSD,在每个4U设备可以扩展到50GB/s带宽

技术分享

IME240使用标准的2U商用存储服务器机箱,通过优化以消除I/O性能阻塞组件,并添加超低延迟InfiniBand连接。相比IME14KX,IME240实现小规模IME I/O加速,其一个Building Block可以提供的20GB/s带宽

在HPC计算场景中,Burst Buffer技术主要解决下面三个问题。 1.将随机小IO汇聚成串行大I/O,后续再顺序或以大IO写入HDD的并行文件系统,提供小IO或小文件读写性能。 2.消除浪涌型IO性能瓶颈,减小IO在高峰计算的时延。 3.数据智能预取和读写加速

FlashScale产品

DDN宣传是世上最快、成本最优的AFA。Flashscale利用近二十年的DDN的规模经验和平台演进,为世界上最数据密集型超级计算,物联网超级计算器和企业级规模站点提供动力。

技术分享

在4U设备中,提供极高的600万IOPS和60GB/s带宽,在一个40U的机柜中可提供高达60百万IOPS和600 GB/s。利用最新的NVMe和SAS接口或混合SSD接口技术,基于高密度超融合,共享存储架构,在4U的空间中提供576TB容量,一个机架中支持7.3PB容量。

技术分享

支持Scale up扩展容量,Scale out扩展性能。提供最佳性价比,应用于生命科学,制造,石油和气体,政府,Web规模,分析,数据库和HPC环境。支持Lustre和 IBM Spectrum Scale(GPFS)并行文件系统

Flashscale采用商用硬件和NVMe&SAS SSD技术,并采用融合架构,融合存储和并行文件系统计算节点,4U控制框包含72块高密磁盘,2个冗余计算节点(4U Active/Active Storage Appliance,2 Compute Controllers: 4 x 18-core Intel CPUs, Up to 2048GB DDR4-2400Memory),FC、IB、100Gb以太网和DDN OmniPath网络

技术分享

Flashscale基于SFA OS 3.0软件平台,支持增加JBOD(SS8412扩展框)的方式扩展容量(支持1到10个),或扩展基本存储框来增加性能

技术分享

前一段时间我们还在讨论全SSD的NAS使用场景,详情请参看PureStorage和NetApp推新品Flash NAS场景在哪里。看完这篇文章你会发现,其实HPC就是全SSD NAS最典型的的应用场景,因为像很多仿真、时延、新科学计算都要求全网无阻塞数据访问,眼下也只有SSD能要满足大带宽、低时延的要求。所以春江水暖鸭先知,DDN、Xyrate(详情参考文章不谈DSSD谈谈Xyrate和希捷)等专注于HPC领域的厂商率先推出自己的全SSD的HPC产品和解决方案。搜索“ICT_Architect”加入微信公众号“架构师技术联盟”获取更多精彩内容。

全面解析DDN存储和HPC解决方案

标签:tap   nbsp   share   build   组件   视频   可靠   设备   define   

原文地址:http://blog.csdn.net/swingwang/article/details/69367415

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!