码迷,mamicode.com
首页 > 其他好文 > 详细

DIX和DIF该诉你,什么叫端到端数据一致性

时间:2017-03-13 00:12:03      阅读:434      评论:0      收藏:0      [点我收藏+]

标签:cpu   ibm   radius   适配   过程   分享   silent   hds   clear   

技术分享

我们跟数据打交道的人都应该知道,数据在存储系统传输中,经过了多个部件、多种传输通道和复杂的软件处理过程,其中任意一个环节发生错误都可能会导致数据错误。但是这种错误一般无法被立即检测出来,而是后续通过应用在访问数据过程中,才发现数据已经出错,这种数据很难在数据发生错误那一刻被检查出来的错误,我们称为静默数据破坏,即Silent Data Corruption。

静默数据破坏产生原因

数据产生静默数据破坏的原因有很多种,但大致可以归结为以下几类。

  • 硬件错误:内存、CPU、硬盘、数据传输链路等

  • Firmware错误:HBA、硬盘等

  • 软件bug:系统软件、操作系统、应用程序等

  • 其他因素:如噪声、电磁等原因。

数据一致性标准和组织

在2007年,由Emulex、Oracle、LSI、希捷成立了DII (Data Integrity Initiative)。由SNIA建立了DITWG(SNIA Data Integrity Working Group)。他们主要关注两个技术,T10 Protection Information—DIF和Data Integrity Extensions—DIX

T10标准是通过对每个数据块加入保护信息(PI,Protection Information),曾被称作数据完整性域(DIF,Data Integrity Field)的方法来保护数据完整性。在每个逻辑扇区扩充了8字节的保护信息用来保证数据一致性,8字节包括2字节的Logical Block Guard,2字节的Logical Block Application Tag和4字节的Logical Block Reference Tag

T10 PI只包含了从主机HBA卡通过存储阵列到硬盘的数据保护,DIX为了延伸DIF的保护范围。将数据完整性保护扩充到了应用层到HBA。DIX使用和T10 PI一样的8字节数据完整性信息作为数据校验字段。不同的是,DIX中使用了IP Checksum作为Logical Block Guard,降低主机CPU的计算开销。

技术分享

DIX+DIF可以实现从应用到硬盘的端到端数据保护。DIX保证应用、HBA卡的数据完整性,T10 PI(DIF)保证HBA 、阵列和硬盘的数据完整性

DIX和DIF数据读写流程

数据完整性额外添加的8字节校验数据分若干段,在存储侧叫DIF,后改名为T10 PI;在主机侧叫DIX。写数据时,主机HBA总线适配器、阵列目标器芯片或者其它组件根据用户数据生成 8字节PI,数据传输过程中会经过检查点,校验数据和PI是否匹配,如果发现错误,向上返回错误,如果没有错误,则继续向下传输,最终写入硬盘。

写数据流程:当数据写到主机内存的时候,Oracle ASM library会对每512字节数据增加8字节DIX校验,8字节校验会随IO请求一起,穿过OS,到达HBA卡驱动;HBA卡进行DIX校验检查后删除DIX校验,并生成8字节PI校验和数据一起发送给阵列,阵列校验数据完整性,并将数据发送到硬盘。

读数据流程:从硬盘读出数据和T10 PI并校验完整性。若发现错误,则通过RAID重建修复数据,如果没有错误则继续向上传输。HBA进行T10 PI校验后删除T10 PI,并生成DIX保护信息返回主机。DIX保护信息会随IO请求一起,穿过OS,返回应用层。ASM Library对数据和DIX保护信息进行校验。

支持DIX的必要条件

要使用数一致性特性,首先阵列需要支持标准的T10 PI,及时不支持DIX,也可以在存储上支持T10 PI; 其次需要特定配置的数据库、操作系统和HBA等组件。

  • 数据库:Oracle 11g级以上。

  • OS:Oracle Linux 5 or 6 running the UEK2-200 kernel。

  • HBA:Emulex、Qlogic特定型号的FC HBA卡

支持DIX的存储厂商

由于DIX和P10在企业Oracle数据库应用比较广泛,且是存储一大亮点,所以主流的存储厂商都支持该特性,如EMC VNX系列支持自定义PI、VMAX支持标准的T10 PI,且支持DIX;HDS HUS系列支持自定义PI、HDS VSP支持PI;IBM DS8000支持标准的T10 PI,DS5000某些特定型号支持PI;HP P10000支持标准的T10 PI,华为 OceanStor 18000和V3全系列。

文件系统是否要DIF

需要提及一点的是,T10 PI需要磁盘提供520扇区来支持(512用来存放数据,8字节用来存储T10 PI校验数据),希捷支持这种磁盘。一般文件系统不需要DIF,原因是文件系统通过元数据管理数据,会造成IO的页面数据布局不断变化,且数据库和网卡厂商相应力度不足,并未形成类似规范和标准。搜索“ICT_Architect”加入微信公众号“架构师技术联盟”获取更多精彩内容。

DIX和DIF该诉你,什么叫端到端数据一致性

标签:cpu   ibm   radius   适配   过程   分享   silent   hds   clear   

原文地址:http://blog.csdn.net/swingwang/article/details/61661117

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!