存储网络接口技术发展跟踪（2015.01）

标签：sas   iscsi   nvme   

    搞存储的，不懂存储接口，那简直是笑谈，本文将跟踪当今业界主流的存储接口。关于存储接口的详细技术细节，可以在后续文章中描述。

• 编码机制

    IBM 发明的8b/10b编解码机制，在很长一段时间里面，都作为通信领域的一个默认标准。直到2010年出现10GbE和10GbFC之后，新的64b/66b 编解码机制才被用于提高传输效率。伴随速率的进一步翻倍应用需求的提出，更新的编解码机制被提出来，其中有已经市场化的128b/130b和128b/132b 两种。

其无效传输损耗比如下表所示：

InfiniBand

    连接依赖于应用程序和连接器，可以被聚合成4×或者12×通道。QSFP和QSFP+连接器采用4×，而CXP则采用12×。

存储接口的发展历史

    近几年接口产品的发展迅速，一些新的接口速率在应用于存储设备和存储系统之前，往往会在交换机和适配器产品上首先应用。

· FC —

1Gb/s in 1997, 2Gb/s in 2001, 4Gb/s in 2005, 8Gb/s in 2008, 10Gb/s (ISL only) 2004, 16Gb/s in 2011 (FC 向后兼容2代)

· FCoE —

 FC:4Gb/s and Ethernet:10Gb/s in 2008, 10Gb/s in 2009.   (FC-BB-5 在2009年6月核准, INCITS 462-2010 在2010春季核准)

· IB —

10Gb/s in 2002, 20Gb/s in 2005, 40Gb/s in 2008, 56Gb/s in 2011

· iSCSI —

1Gb/s in 2003, 10Gb/s in 2007

· NVMe —

 Version 1.0 规范发布于2011年3月. Version 1.1 发布于2012年10月. Version 1.2 发布于2014年11月.

· SAS —

3Gb/s in 2005, 6Gb/s in 2009, 12Gb/s in 2H 2013

· SATA —

 1.5Gb/s in 2003, 3Gb/s in 2005, 6Gb/s in 2010 (传统SATA 不会期望会有6Gb/s产品 )

·SATA μSSD

 在2011年8月份作为针对嵌入SSD新的SATA实现。这些设备不拥有传统SATA 接口连接器但是采用一个BGA（ball grid array）包直接挂载在系统主板上。这些SATA μSSD 可以用于平板电脑或者超级本等移动平台，这明显比传统SATA接口设备消耗更少的电能。

· Thunderbolt — 10Gb/s in 2011, 20Gb/s in late 2013  乔布斯和Intel 合力推出的一个新传输接口，目前在Iphone 设备上比较常见。

· USB — 1.5Mb/s in 1997?, 12Mb/s in 1999?, 480Mb/s in 2001?, 5Gb/s in 2009

存储接口发展路标

· Ethernet 

    25G/50G Ethernet Consortium和IEEE 802.3 25Gb/s Ethernet Study Group两个工业组织在去年7月份宣称它们均致力于新一代基于单通道25Gb PHYs的以太网规范，而这些事必影响FCoE和iSCSI 块协议。在2015年底到2016年初，我们或许可以在市场上看到实体产品。

· FC

    32Gb/s FC标准--FC-PI-6 ，最早开始于2010年，在2013年12月，FCIA（光纤通道工业协会）宣称已经完成该规范。32GFC 产品因此也被期望能够在今年或者明年面市。而作为多通道的128GFC接口，aka 128GFCp，则是基于单通道32GFC，聚合4个并行通道。T11 委员会已经确认了FC-PI-6P规范制定的项目工程，同样，该产品也可能于今明两年面市，并且该接口也会采用QSFP+和CFP2或者CFP4连接器。32GFC和128GFCp都属于第六代光纤协议标准，主要也就是串/并 配置差异而已。

    64GFC已经处于FCIA 速率路标中，但是T11委员会尚未启动相关协议制定。

· FCoE

    在2014年8月份，T11委员会已经完成FC-BB-6协议标准，FC-BB-06 包含VN2VN和Domain_ID可扩展两个重要协议增强部分。VN2VN允许在FCoE网络中建立直接的端到端虚拟连接。而Domain_ID可扩展则可以促使FCoE网络与更大的SAN网络汇聚。

    40Gb/s速率遭遇FC的32Gb/s速率，在传输领域，可谓是精彩，到底是32Gb/s 的高效率/稳定/安全的FC，还是选择有着广泛基础的以太网，接口相关厂商都是比较紧张的，特别是近些年的各类适配器和交换机厂商，都力图在两个领域同时发力，避免战略性失误导致万劫不覆。IEEE 802.3ba在2010年就已经完成40Gb/s和100Gb/s以太网标准。40Gb FCoE 和100Gb FCoE 主要应用于ISL核心（Inter-Switch Link），这些主要是交换机厂商关注，比如Brocade 和Cisco。10Gb FCoE 还是依然保留作为边缘交换汇聚使用。未来的100G FCoE 线缆会同时采用10×10 和4×25 两种配置。

· IB

    EDR（Enhanced Data Rate）在2014年末面市，它采用和和以太网和光纤通道相同的25G/28G技术，而InfiniBand 的HDR（High Data Rate），两倍速率于EDR，希望2017年可以面市。

· iSCSI

    iSCSI 协议以来以太网，故其路标与FCoE 一致。

· NVMe

    企业级NVMe SSD终于在去年面市，今年将继续高速发展。全BIOS 支持的NVMe 设备也逐渐与消费者见面。2014年9月份出现的NVMe over Fabics，将有效连接Ethernet，FC，Infiniband和Intel Omni Scale。首个fabric 定义的协议将是在以太网（包含iWARP 和RoCE两种）和Infiniband 经过产品化的的RDMA协议。预计2015年下半年，这些将合入NVMe 规范中。

· SAS

12Gb/s SAS

    SAS 3 规范包含12Gb/s SAS。2013年下半年新发布SAS产品中就包含连SAS接口的SSD，SAS HBA和RAID 控制器。它主要依赖PCIe 3.0 总线。

24Gb/s SAS

    24Gb/s SAS规范目前正在制定开发中，预计2018年我们会看到实物。24Gb/s SAS 可以后向兼容12Gb/s和6Gb/s SAS。目前协议开发还是参考PCIe 3.x 技术，不过我们可以预想最终的24Gb/s SAS 还是会采用PCIe 4.0技术。

SCSI Express

    SCSI Express 提供知名的SCSI over PCI Express 接口，利用PCIe 的低延迟特性。它的设计目的就是提高SSD的性能，它采用SOP-PQI协议，该协议包含SOP（SCSI Over PCIe）和PQI（PCIe Queueing Interface）协议。SCSI Express 控制器采用Express Bay SFF-8639 多功能连接器连接设备，该连接器支持多种协议和接口，比如PCIe，SAS 和SATA。SCSI Express 规格首个版本在去年2月份已经发布。

SAS Advanced Connectivity

    新SAS 线缆可以使用有源铜缆和光纤支持更远的距离。支持6Gb/s SAS 的Mini SAS HD连接器，也可以用于12Gb/s SAS.

· SATA

SATA Express

    包含在SATA 3.2修订版本中,它能够将SATA和PCIe共存变为现实,它将支持2通道的PCIe(1GB/s 的PCIe2.0 和2GB/s 的PCIe3.0),同时兼容当前0.6GB/s 的SATA技术。这些速率将适合SSD和SSHD技术，也能够让传统的HDD技术能够继续使用现在的SATA接口。不过， 在同一时刻，只能支持SATA 和PCIe中的一种。

· Thunderbolt

    Thunderbolt 2 在2013年就已经名声在外，它被设计用来支持异构的计算机间的数据传输，目前采用的是PCIe2.0 ，未来会采用PCIe3.0。

· USB

    USB 3.0 Promoter Group在2013年7月宣布发布USB 3.1规范。USB 3.1 可以是USB支持10 Gbps速率，同时还能够兼容USB 3.0和2.0的设备。另外，它还是支持USB 功率输送，所以会采用一种新型的连接器。

USB Power Delivery

    USB 将变为一个功率输送的接口，通过USB 端口来针对连接设备的功率输送。2012年发布的PD （Power Delivery）1.0版本，允许通过USB来增加功率值。该规范建议根据连接线缆和连接器类型，限制功率从7.5瓦特到100瓦特。设备间自行协商电压和功能传输级别，并且支持功能传输方向可变，连接的设备可以在传输数据时自适应充电速率。

SAS-SATA Connector Compatibility

Express Bay Connector Backplane

SATA Express Connector Mating Matrix

    
来源: SATA-IO

线缆：光纤和铜缆

    铜缆因为其比较高的振幅损失，仅在短距离内才能获得有效传输，故常用于机柜内和机柜间设备间连接。

   光纤线缆一般可分为：单模光纤和多模光纤

· Single-mode fiber (SMF）

    单模光纤内核直径9微米，拥有比多模光纤较低的模态色散，所以能够支持80-100KM的距离，甚至更长。距离的长短，与传输速率，光模块和交换机的buffer Credits数值相关。

 · Multi-mode fiber (MMF)

    多模光纤核心直径有50微米和62.5微米两种，最大距离支持为600米。距离的长短，依然与传输速率/光模块相关。一般情况下，两种光纤的价格相差不大，但是，在某些应用中，单模光纤要贵很多。

多模：OM1，OM2，OM3，OM4

单模：OS1，OS2

    OM3和OM4是多模光纤中较新的，支持10Gb 以太网应用。同样也支持IEEE 802.3ba 的40G/100G 以太标准。OM4 还被期望来支持32GFC，最大距离100M。

LOMMF：laser optimized（激光优化）

BOMMF：bend optimized（弯曲优化）

     TIA（Telecommunications Industry Association Engineering Committee）对数据中心的通信基础标准制定的TIA-942-A规范中要求：

铜缆：cat6是最低要求，推荐Cat6a

光纤线缆：OM3最低要求，推荐OM4

光纤连接器：LC类型，单发或者双发

10Gb Ethernet Fiber-Optic Cables

· 10GBASE-SR

    目前最常见的光纤10GbE 线缆是10GBASE-SR线缆，支持SFP+连接器

· 10GBASE-LR

    支持单模光纤

    OM1线缆不推荐用于16GFC，非要使用的话，也最好控制在15米内。

Active Copper vs. Passive Copper    
    无源铜连接器搭配许多接口，工业应用中，无源铜缆无法提供需要的距离和占用太多的物理空间。所以，目前的发展方向，还是朝有源铜接口，用以提供高速连接，比如6Gb/s SAS。  
    1000BASE-T

    线缆通常用于1Gb 以太传输（含1Gb iSCSI），连接器就是常见的RJ45，线缆也常被称为cat5e或者Cat6线缆。

    10GBASE-T

    支持10Gb 以太网流量（包含10Gb iSCSI），线缆是Cat6a，也称为Class EA线缆。Cat7线缆也能够兼容10GBASE-T。FCoE 应用最好不要采用该类型线缆。一些比较新的10GbE交换机有支持10GBASE-T连接器的（RJ45）。

    10GBASE-CR

    最常见的10GbE铜缆就是10GBASE-CR线缆，它支持一个附加SFP+连接器，也称为DAC（Direct Attach Copper）。许多10GbE交换机支持SFP+连接器，同时支持铜缆和光纤线缆。这些线缆有1M,3M，5M，7M，8.5M等等。最常见的是3M和5M的。

     10GBASE-CX4

这种线缆比较老了，和infiniband 技术应用的线缆类似。

连接器类型

InfiniBand Data Rates    
    SDR：单倍速率，DDR：双倍速率，QDR：四倍速率，FDR：十四倍速率，EDR：增强速率

Mini SFP

   
    2010年的下半年，一种新的SFP/SFP+连接器的变种被用于光纤骨干刀片和高密以太网核心交换机，它们被称为mSFP，mini-SFP或者是mini-LC SFP，它们要比SFP/SFP+连接器更窄，上图可以看出两者的差异。

CXP and CFP    
CXP（铜）和CFP（光纤）连接器被用于交换机间互联。CFP当前支持10×10（10 通道×10Gbps）的连接。而CFP2是CFP的的一个小版本，以更低的功率输出支持10×10连接。未来的CFP4连接器被设计用来支持25/28G连接器和支持4×25.

PCI Express (PCIe)

    PCI Express，也称为PCIe，2003年发布第一个PCIe 规范版本，后来在2007年发布了2.0，随后2010年的时候，3.0版本也发布了。

PCIe 4.0

    2011年11月，PCI-SIG组织宣称PCIe4.0 支持16GT/s。预计2016年可以发布0.9版本，但是最终产品面市时间将更加靠后，也许在2018年可以看到吧

OCuLINK

    OCuLINK 被设计为一种针对PCIe内外设备的低耗小型SFF，它提供8Gbps速率，拥有空间扩展和独立时钟集成，支持PCIe3.0 的X1，X2，X4通道。对于无源线缆，可以达到2-3M，有源线缆，可以达到3-10M，而光纤，可以达到300M。预计它的规范将在2015年春季完成。

I/O Virtualization

    2008年，PCI-SIG组织宣称完成I/O 虚拟化规范，包含SR-IOV（Single-root IOV）和MR-IOV（multi-root IOV）。这些技术主要应用于系统虚拟化，可以让多操作系统直接访问本地化PCIe设备。目前SR-IOV 已经被主流市场的10GbE NIC和hypervisors支持。

本文出自 “Gedankenwesen” 博客，请务必保留此出处http://yungchin.blog.51cto.com/9614170/1610169

存储网络接口技术发展跟踪（2015.01）

标签：sas   iscsi   nvme   

原文地址：http://yungchin.blog.51cto.com/9614170/1610169