码迷,mamicode.com
首页 > 其他好文 > 详细

超融合架构浅谈

时间:2016-06-10 15:03:58      阅读:311      评论:0      收藏:0      [点我收藏+]

标签:英特尔   数据中心   服务器   一体机   2011   

 

        为什么叫浅谈呢,因为就是自己的观点,受知识所限难免偏颇。数据中心里面真正的东西总结起来就是三大部件:计算、存储和网络。这三大部件的演变过程是:硬件虚拟化融合。


        在传统独立硬件时代,计算资源就是服务器,存储也是独立的硬件设备,因为服务器和存储之间的相互连接就构成了网络。不管是TCP/IP还是FC,这些构成服务器和存储之间连接的网络部分,随着服务器硬件的升级和存储的硬件的升级而成为瓶颈。为什么不把碍事的连接网络去掉,将最强的直接融合在一起,即服务器和存储硬件融合在一起,并且实现扁平化。在超融合时代,数据中心将实现扁平化,用软件定义的方式,使用标准x86服务器实现数据中心基础架构的扁平化。所谓超融合,从形式上对数据中心进行了重新定义,而不是存储。但是现在所谓的超融合,虽然强调的是将数据中心的计算、存储和网络融合在一起,但是在我看来也就融合了计算和存储部分。


这个领域当然最著名的是Nutanix,于2011 年推计算和存储一体机NX 家族,硬件平台是Supermicro2U密度优化型服务器,支持1-4个双路英特尔至强节点。软件上,Nutanix采用Google著名的MapReduce分布式计算框架,配以类似GFSNDFSNutanix Distributed FileSystemNutanix 分布式文件系统)实现的计算和存储的分布式集群。


但是在网络部分,其需要配置一台万兆交换机互联各个节点。包括在其本身一台2U服务器内的多个节点之间的互联。你在逗我吗?这样也敢网络融合。没有看见所谓超融合在硬件方面有哪些牛逼的融合改进,只看见将其进行模块化定制在标准x86服务器内安插不同类型的承载计算资源的主板,外加标准x86服务器本地本身可自带的服务器盘位。扁平化了是没错,分布式了扩展牛逼也没错。但是不好意思的是,网络部分还没融合进去。


所有这样来说,所谓超融合和刀片服务器的区别在于,刀片服务器以及将计算资源和网络进行了融合,超融合是计算资源和存储系统的融合。


现阶段的超融合系统就是一个概念,利用现有的技术堆叠起来的一个技术堆栈。计算部分采用分布式框架和虚拟化架构,存储采用分布式文件系统,硬件采用万兆网卡加SSDIO。这种架构现目前也就只能适应分布式的应用,比如虚拟桌面。真正的高并发高吞吐的IO的应用还不太适应,比如OLTP应用,我认为还需要进行硬件优化和软件系统的优化,随着技术的进步,超融合才有可能取代现有的传统存储。而且这个阶段的超融合概念意味明显。只有真正的将网络也融合进入标准的服务器内部并实现扁平化,这样才是真正的将计算、存储和网络融合在一起,才是真正的超融合。现目前国内的超融合系统,大部分厂家都是基于基于OpenStcakVMwareCEPH深度优化的,自己写代码实现的很少,更别说硬件的更加深度融合和定制。


在这里我们做个假设,如果需要将网路融合了进入x86的主板内,是在主板上集成网卡然后在内部集成互联的小交换机吗?借鉴刀片服务器的做法?我认为最好的办法就是采用InfiniBand技术在内部进行互联,InfiniBand的技术构想中,InfiniBand直接集成到系统板内,并且直接和CPU以及内存子系统互动。InfiniBand是一个统一的互联结构,既可以处理存储I/O、网络I/O,也能够处理进程间通信(IPC)。同时个节点之间采用PCIE闪存卡作为FlashCache。利用InfiniBand还可以利用它的技术特性,比如RDMA(Remote DirectMemory Access)远程内存访问,Infiniband发展的初衷是把服务器中的总线给网络化。为什么要网络化?我们知道,计算机中是总线是共享的,而且总线的吞吐能力是由总线时钟决定的(比如33.3MHz66.6MHz以及133.3MHz)和总线的宽度(比如32位或者64位)决定的。所以Infiniband除了具有很强的网络性能以外还直接继承了总线的高带宽和低时延。大家熟知的在总线技术中采用的DMA(DirectMemory Access)技术在Infiniband中以RDMA(RemoteDirect Memory Access)的形式得到了继承。这也使Infiniband在与CPU、内存及存储设备的交流方面天然地优于万兆以太网以及FibreChannel。可以想象在用Infiniband构筑的服务器和存储器网络中任意一个服务器上的CPU可以轻松地通过RDMA去高速搬动其他服务器中的内存或存储器中的数据块,而这是FibreChannel和万兆以太网所不可能做到的。而且利用RDMA我们可以构建一个以所有服务器内存为基础的统一的高级缓存架构,次一级的PCIE闪存卡作为FlashCache的统一的一个更优于本地SSD缓存的架构。这样的架构下,内存为最高优先级的以及缓存、PCIE Flash为二级缓存,本地的SSD为三级缓存。形成一个统一的分层的高速缓存池。这个缓存池可以卸载、重排、优化网络IO和存储IO。同时网络硬件的融合还需要软件的驱动,在软件部分还需要真正的融合SDN,真正实现不只是软件定义计算、软件定义存储,还需要软件定义网络,这样就实现了真正的超融合。

 

 

 

 


本文出自 “我拿流年乱了浮生” 博客,请务必保留此出处http://tasnrh.blog.51cto.com/4141731/1787755

超融合架构浅谈

标签:英特尔   数据中心   服务器   一体机   2011   

原文地址:http://tasnrh.blog.51cto.com/4141731/1787755

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!