首页 关于KPDT 解决方案与技术 服务与支持 成功案例 合作伙伴及代理 联系我们 在线论坛
所在位置: 首页 >> 解决方案与技术 >> 计算机系统技术 >> 数据存储、备份及容灾技术
 

  下面分三部分分别对数据存储、数据备份及数据容灾技术尽心描述:

数据存储技术


  目前存储市场主要有三种方式:DAS(Direct Attached Storage)、NAS(Network Attached Storage,网络附加存储)、SAN(存储区域网)、ISCSI。传统的直接存储的模式DAS是直接将存储设备连接到服务器上,一方面,当存储容量增加时,这种方式很难扩展;另一方面,当服务器出现异常时,会使数据不可获得。NAS和SAN的出现适应了网络正成为主要的信息处理模式的发展趋势。下面会做一个全面的技术介绍和对比。
  1、Fibre Channel技术
  Fibre Channel (FC)技术标准是1994年由ANSI标准化组织制订的一种适合于千兆位数据传输通信的网络技术。FC-AL(Fibre Channel-Arbitrated Loop,光纤-仲裁环)拓扑技术已被世界上所有的重要服务器及存储厂商所采纳,并成为下一代大容量、企业级数据存储的标准。伴随着网络存储,实时计算,视频点播和CAD/CAM等超大数据量传输应用的出现,Fibre Channel将成为支持点到点, 共享环路及网络交换, 多协议数据传输如SCSI, TCP/IP等技术实现的理想载体。
  下图为Fibre Channel (FC)技术标准图示:

  2、NAS、SAN、DAS技术:
  NAS - 网络附加存储,即将存储设备连接到现有的网络上,提供数据和文件服务。NAS服务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。简单的说,NAS是通过与网络直接连接的磁盘阵列,它具备了磁盘阵列的所有主要特征:高容量、高效能、高可靠。NAS将存储设备通过标准的网络拓扑结构连接,可以无需服务器直接上网,不依赖通用的操作系统,而是采用一个面向用户设计的、专门用于数据存储的简化操作系统,内置了与网络连接所需的协议,因此使整个系统的管理和设置较为简单。其次NAS是真正即插即用的产品,并且物理位置灵活,可放置在工作组内,也可放在其他地点与网络连接。因此,用户选择NAS解决方案,原因在于NAS价格合理、便于管理、灵活且能实现文件共享。 以IBM为代表的业界各大存储厂商纷纷推出NAS解决方案,IBM公司最新的NAS产品主要包括:NAS 200, NAS 300, NAS 300G。NAS 200塔式存储设备主要是针对需要大量高性价比存储设备的Internet服务提供商(ISP)和需要电子邮件存储或视频文件服务的客户;NAS 300的双引擎设计可以支持关键业务高可用性应用,如大型部门和小型企业中的应收帐户、工资支付或客户支持。NAS 300G网关则是业界第一种开放式NAS设备,能将LAN与SAN连接在一起,NAS 300G允许基于局域网的客户机和服务器与现有存储区域网(SAN)互操作,实现了SAN与NAS的统一。
  在2001年存储展中,有一家专门做NAS存储的厂商AUSPEX也颇引人注目,AUSPEX始建于1987年,可称为NAS市场的创建者和领头羊,AUSPEX通过其专利技术--功能多处理结构(Founctional Multiprocessing)把文件服务功能的不同功能分解到不同的专用CPU上,借助专用OS为客户提供了大容量、高性能和高可靠的网络数据服务。其产品系列包括NS2000通用网络文件服务器、NAS3000系列,其中NAS 3010LPDA最大磁盘容量达12TB,可接入36GB和73GB的磁盘驱动器;NAS3010XR采用内嵌式SAN结构,可通过光纤通道接入SAN交换机,实现对SAN的存储管理
  SAN - 存储区域网络,即通过特定的互连方式连接的若干台存储服务器组成一个单独的数据网络,提供企业级的数据存储服务。 SAN是一种特殊的高速网络,连接网络服务器和诸如大磁盘阵列或备份磁带库的存储设备,SAN置于LAN之下,而不涉及LAN。利用SAN,不仅可以提供大容量的存储数据,而且地域上可以分散,并缓解了大量数据传输对于局域网的影响。SAN的结构允许任何服务器连接到任何存储阵列,不管数据置放在哪里,服务器都可直接存取所需的数据。
  与NAS相比,SAN具有下面几个特点:首先SAN具有无限的扩展能力,由于SAN采用了网络结构,服务器可以访问存储网络上的任何一个存储设备,因此用户可以自由增加磁盘阵列、带库和服务器等设备,使得整个系统的存储空间和处理能力得以按客户需求不断扩大。另外,SAN具有更高的连接速度和处理能力。SAN采用了为大规模数据传输而专门设计的光纤通道技术,目前的传输速度为100Mbps,并会很快开发出传输速度为200Mbps和400Mbps的光纤通道交换机。 实现SAN的硬件基础设施是光纤通道,用光纤通道构筑的SAN,由3部分构成:存储和备份设备,包括磁带库、磁盘阵列和光盘库等;光纤通道网络连接部件,包括主机总线适配卡(HBA: Host Bus Adapter)和驱动程序、光缆(线)、集线器、交换机、光纤通道与SCSI间的桥接器(Bridge)等;应用和管理软件包括:备份软件、存储资源管理软件、设备管理软件。由上可以看出,在SAN解决方案中,除存储设备外,其关键部件就是网络连接部件--光纤交换机,目前在IBM、COMPAQ等各公司提供的SAN解决方案中,其光纤交换机大都由博科通讯公司(Brocade)、McDATA、Infrange、Qlogic、Vixel、Gadzoox等提供的。例如博科公司的产品包括了从8端口的入门级光纤通道交换机到128端口企业级交换机,最近推出的128端口的SilkWorm 12000核心Fabric交换机是第一个可提供1Gbps和2Gbps链路速度的第三代ASIC型号,可支持目前的2Gbps光纤通道模块和新兴的存储协议,如10Gbps光纤通道模块、Infiniband Fabric模块以及未来的IP/以太网模块等,还支持可实现存储虚拟化。McDATA的口号是提供从核心到边缘的企业解决方案,其产品系列覆盖从8端口ES-1000到ES-3016、ES-3032直到64端口的ED-6064导向器,并定位于高端应用,McDATA认为,所谓高端,一是支持的端口数多,另一点是产品具有99.999%的高可用性,保证在线数据的连续性。另外 McDATA也提供EFC MANAGER管理软件,实现对交换单元的集中管理。
  存储市场的火爆及SAN市场的增长,使这些公司也纷纷从幕后走到了前台,博科、McDATA不仅在存储展上大出风头,而且还将在国内成立办事处,进一步提供技术、服务方面的支持,但博科、McDATA公司均表示,OEM及合作伙伴策略将不会改变。在网络存储技术方面,博科公司的技术总监许良谋先生表示,3-5年内光纤通道技术仍会是主流技术,但博科公司目前对iSCSI、Storage over IP、Infiniband等技术进行密切关注,并加大了研发力度。
  综上所述,NAS具有安装管理方便、价格平民化等优点,是中小企业存储的优选方案。 特别是对于部门服务器合并项目、独立的工作组级的客户,他们能充分享受到NAS性能价格比的好处。而SAN可以适用于企业级数据存储、服务器集群、远程灾难恢复、Internet数据服务等多个领域。SAN和NAS因满足用户的不同层面的应用需求而共存,同时随着iSCSI、IP、Infiniband等技术的不断出现,未来的SAN、NAS最终将逐渐走向统一。
据IDC的最近一份研究报告指出,目前,在亚太市场中仅有10%到30%的企业采用存储区域网络(SAN),这个比率在今年预计会增加20%,并且在随后一年增加62%。NAS产品由于刚刚推出,目前市场处于一个快速增长阶段。而在服务器市场的统计表明,基于SCSI(服务器直连存储)收入的市场份额已从1999年的60%下降到2000年的28%,而IBM也表示一年前80%的存储是连接在S/390系统,而今年这一数据已降到30%。
以下是几种常见的存储方式的图示介绍:
  (1)DAS方式:

  (2)SAN方式:

  (3)NAS方式:

  3、iSCSI技术
  存储技术包括了以上的DAS(数据库服务器和磁盘阵列)、NAS、SAN外,还包括iSCSI等。在这里我们推荐使用iSCSI技术。它的最大特点就是各个网络上的服务器能够通过TCP/IP技术透过Internet,均可共享总部的存储空间,对于这些服务器来说,总部的存储空间镜像为本地硬盘,操作简单,可以起到数据的异地备份和节省投资的作用。
数据存储技术(iSCSI)能够为远程用户提供高效的存储和备份,iSCSI技术在大型企业信息化网络中完全可以体现出节省投资、可靠的数据存储和充分利用宽带网络优势的特点。
  目前存在两种在IP网络上传输存储数据的方法。一种办法是存储隧道技术(FCIP)。隧道技术将光纤通道控制码和数据转换为从一个光纤通道存储区域网(SAN)向另一个远程光纤通道SAN传送的IP包。存储隧道技术采用了光纤通道技术。
另一种办法是IP存储,即所谓的iSCSI。这种技术在IP栈的一个层面上传送本机SCSI。iSCSI将使企业网络可以在接入WAN时在任何位置传输与存储SCSI命令和数据。它还允许利用普通的Ethernet基础设施来建立较小的本地化SAN。因此, iSCSI使SAN在更广泛的主流市场上部署成为可能。
  SCSI是一种广泛用于存储设备的工业标准。利用SCSI协议,磁盘驱动器控制命令和数据可以被发送给驱动器。响应和状态信息以及从存储设备读取的数据通过SCSI控制器进行传输。
在支持iSCSI的系统中,用户或软件应用发出命令在一台SCSI 存储设备上保存或索取数据。操作系统对这个请求命令进行处理并将这个请求转换为一条或多条SCSI命令,然后这些命令被传送给软件或接口卡。命令和数据被封装起来,形成一条由iSCSI包头开头的字节串。然后,封装起来的数据被传送到TCP/IP层, 而后者将封装起来的数据分为适于网络传输的包。如果需要的话,封装的SCSI命令还可以先进行加密,然后在不安全的网络上传送。
iSCSI数据包可以在网络上或在Internet上传送。在接收存储控制器上,数据包重新进行组合,如果需要的话,被脱密为原始封装的SCSI命令和数据。然后,存储控制器利用iSCSI报头将SCSI控制命令和数据发送到相应的磁盘驱动器上, 驱动器再执行初始计算机或应用所请求的功能。
  如果发送的是数据请求的话,数据从磁盘驱动器上取出,然后再封装并发送给发出请求的计算机。全部过程对于用户来说是透明的。
  尽管SCSI命令和数据准备可以通过使用标准TCP/IP和现成的网络接口卡的软件来完成,但更可能的情况涉及到执行这种功能的专用iSCSI接口卡。在利用软件完成封装、 解封以及TCP/IP的情况下,在主机处理器上执行这些功能需要很多的CPU 周期来处理数据和SCSI命令。将这些功能交给专用硬件处理完成后,可以将对系统性能的影响减少到最小程度。
IP网络的普及性将使数据可以通过LAN、WAN或通过Intenet利用新型IP 存储协议传输。
以下是iSCSI的解释示意图:

数据备份技术


  目前磁带备份技术依然是服务器的数据备份技术的首要选择,这里将常见的磁带备份技术作了一下归类整理,如下:
  (1)DC2000/Travan
  DC2000/Travan为PC机用户提供入门级的数据保护。这种技术的产品价格很低,适于PC和低档网络服务器的备份。该技术最早产生于1989年,是3M公司继DC6000后推出的又一信息存储技术。在它发展过程中,QIC(Quarter-Inch-Cartirdge)委员会为其制定了一系列的标准,所以在此类技术产品中人们总会发现"QIC"字样。这种技术的工作原理被称为"纵向曲线性记录法(Longitudinal Serpentine Recording)",使用一种非常简单的驱动机械与计算机的软驱接口相连接。这种技术的竞争优势不在于性能与容量,而在于其低廉的价格。但是,此类产品具有不可避免的劣势,它不具备硬件数据压缩功能与即写即读功能,不具备即写即读功能意味着用户需要另外进行可靠性检验,不具备硬件数据压缩功能意味着占用大量的CPU,降低计算机速度与效率。而且,此类产品使用的介质造价较高,抵消了设备本身的低成本,现已基本停产。总的说来,DC2000是一种初级备份技术,它将成本、容量、性能与可靠性综合在一起,提供人们最能负担得起的初级备份。因此,DC2000的主要应用对象是那些对容量与性能要求不高的桌面计算机用户。
  (2)DAT(Digital Audio Tape)
  DAT技术又可以称为数码音频磁带技术,最初是有HP与SONY共同开发出来的。这种技术以螺旋扫描记录(Helical Scan Recording)为基础,将数据转化为数字后再存储下来,早期的DAT技术主要应用于声音的记录,后来随着这种技术的不断完善,又被应用在数据存储领域里。DAT技术主要应用于用户系统或局域网。DAT在非常合理的价位提供高质量的数据保护。DAT一直是被极为广泛应用的技术,而且种种迹象表明,DAT的这种优势还将继续保持下去。这种技术之所以大受欢迎,最重要的在于它具有很高的性能价格比。
  (3)QIC DC6000
  DC6000,即我们平时所说的数据流带机,是由3M公司所开发,并在80年代初进入市场。它使用非常简单的驱动装置进行纵向记录,但是数据磁带却非常复杂而且昂贵,由于磁带体积大,磁带机只有5.25英寸格式。根据目前的出货来看,它的容量大多为525MB,由于DAT技术的出现并流行,DC6000的销量日益下降,Seagate(前Conner)和Tecmar(前Rexon)都已经停止对这一技术进行开发。目前只有Tandberg一家厂商还在继续生产。
  (4) 8MM
  Exabyte公司瞄准网络和多用户系统,于1987年提供了第一个8mm产品。8mm技术在相当高的价格上提供了一个相对高的容量。这一技术在过去的几年里保持了一个稳定的出货量和很小的增长。1998年,8mm磁带技术机还在继续存在,但是,新型产品技术的出现及其本身存在的质量问题直接影响到该技术的生存。
  (5) DLT(Digital Linear Tape)
  DLT又称数码线型磁带技术,最早于1985年由DEC公司开发,主要应用于VAX系统。尽管这种技术性能出众,但是由于价格昂贵,在1993年时销售量降到最低点。但后来随着高档服务器的容量超过了其它磁带机技术所能提供的容量(例如8mm),DLT又重新称为信息存储领域里的热门话题。DLT技术采用单轴1/2英寸磁带仓,以纵向曲线性记录法为基础。DLT产品定位于中、高级的服务器市场与磁带库应用系统。目前DLT驱动器的容量从10GB到35GB不等,数据传送速度相应由1.25MB/秒至5MB/秒;如果硬件数据压缩,可以使容量与速度增加一倍。但DLT技术也存在相应的劣势,如:驱动器与介质造价昂贵;主系统与网络之间通道狭窄,限制了传送速度,增加了操作时间;非标准的外型设计使内部安置受到很大限制;单一产品提供者,渠道受限。总的说来,DLT仍被认为是未来型产品得到很快发展,但目前只会被少数需要高性能备份的系统用户所使用;DAT仍然是网络备份主流解决方案;DAT容量可通过采用自动加载机与多驱动器来增加,而这些并不需要以高昂的成本为代价。
  (6) LTO(Linear Tape Open)
  LTO即线性磁带开放协议。是由HP、IBM、Seagate这三家厂商在1997年11月联合制定的,其结合了线性多通道、双向磁带格式的优点,基于服务系统、硬件数据压缩、优化的磁道面和高效率纠错技术,来提高磁带的能力和性能。  LTO技术是一种"开放格式"的技术,上述三家厂商将生产许可开放给存储介质、磁带机的生产商,使不同厂商的产品能更好地进行兼容,这意味着用户将拥有多项产品和介质。开放性还带来更多的发明创新,使产品的价格下降,用户受益。同时,LTO还特别规定,由第三方进行每年一次的兼容测试,以确保产品的延续性更好。 目前,LTO具有两种存储格式:高速开放磁带格式即ultrium和快速访问开放磁带格式accelis,定制两种格式是因为并不是所有的用户都要求相同的特性和功能性。一些应用程序强调重点在"读",要求快速的数据访问速度。而另一些应用程序则重点在于"写",要求最高的磁带存储能力。ultrium磁带格式除了具有高可靠性的LTO技术,还具有大容量的特点。它能够单独操作,也可以在自动操作环境中使用。通过使用单卷轮介质,实现了高容量和高性能的优化。适合于备份、存储和归档应用,并将为大容量数据存储设置新的基准,以满足企业用户的需要。 accelis磁带格式则主要侧重于快速数据存储。它在磁盘中装载了双轨磁带存储器以减少存取时间,提高速度。accelis格式能够很好地适用于自动操作环境,可处理广泛的在线数据和恢复应用。它同样需要每年的第三方兼容测试。
  这两种格式都使用同样的头、介质磁道面、通道和服务技术,并共享许多普通的代码部分。因为目前存储用户更偏重于对存储容量的需求,所以两种格式相比较而言,ultrium格式是当今存储业界更值得关注的技术。
最代表未来的磁带备份技术:目前市场上主要有DC2000/Travan、DAT、QIC DC6000、8MM、DLT、LTO等七种备份技术,其中,LTO技术最引人注目。在当今磁带存储领域,企业对数据备份的方式、容量、功能和可靠性提出了更高的要求,由于LTO这种新的存储技术的开放式、大容量特点,它允许用户使用任何满足LTO标准的磁带或驱动器进行交换和互操作,因此LTO成为包括惠普、IBM等在内的存储设备厂商共同追求的目标。LTO备份技术已成为未来存储市场最具潜力的技术与产品。
此外,目前有能力提供多系统、多平台网络备份的只有Veritas。

数据容灾技术

  大型企业和政府部门经常需要面对的一个问题就是如何避免在各种自然灾害和人为破坏的情况下保障其系统的安全有效。传统的离线备份、备份介质异地保存等方法可以在一定程度上解决上述问题。但随着业务对系统可用性、实时性要求的提高,远程容灾成为保障用户需求的唯一选择。
  容灾系统,对于IT而言,顾名思义,就是提供一个能防止各种灾难的计算机信息系统。当政府、企业、商家的核心计算机系统在遭受如:火灾、水灾、地震、战争、人为破坏等不可抗拒的灾难和意外时,容灾系统的存在,将保证用户数据的安全性(数据容灾),甚至,一个更加完善的容灾系统,还能提供不间断的应用服务(应用容灾)。
  (1)容灾技术的意义:
   数据系统的容灾安全体系主要有以下方面:
   1) 数据备份系统
     备份系统提供应用系统的数据后援,确保在任意情况下(包括人工操作失误)数据具有完整的恢复能力。
   2) 高可用系统
     高可用系统确保本地应用系统在多机环境下具有抗御任何单点故障的能力,一旦系统发生局部的意外(如操作系   统故障、掉电、网络故障等),高可用系统可以在最短的时间迅速确保系统的应用继续运行(热备份)。
  以上两种方式已经广泛使用,而且为系统安全提供了基本保障。但这些方式的共同点就是无法完全承担应用系统的重大灾难时的业务系统运行安全(如备份系统无法保证灾难的业务部中断运行,高可用系统无法保障多点的重大灾难如机房破坏、磁盘数据丢失。因而,容灾系统应运而生。
  当应用系统的一个完整环境因灾难性事件(如火灾、地震等)遭到破坏时,要完成迅速恢复应用系统的数据、环境,立即恢复应用系统的运行,保证系统的可用性,这就需要异地灾难备份系统(也称容灾系统)。可以说,对于关键事物的处理系统如联机事务处理系统(如金融业务、电信业务等),建立最高级别的安全体系,也是提高服务质量、确保系统永不中断、在竞争中立于不败之地的重要举措。
  长期以来,对企业而言,建立一套可行的容灾系统相当困难,主要是高昂的成本和技术的复杂度。鉴于此,要建立一个行之有效的容灾系统,必须具有良好的性能价格比。
  可以说,对于24X7关键事务处理系统,任何原因的短时间停顿都是不允许的。任何业务系统的长时间中断均会直接影响客户服务的质量,产生十分不良的和灾难性的影响,国内和国际上都曾出现了许多各个领域的典型的业务系统发生灾难的事例。解决的方案之一就是建立一个具有容灾功能的异地备份中心,当主数据中心发生故障时,由备份中心接管全部的业务处理。建立异地容灾系统,即指建立远程的备用数据中心,通过配置远程容灾系统将本地数据实体实时复制到远程系统中,同时实现本地系统故障时应用系统的远程启动,确保系统在任何灾难条件下的不中断运行。 (2)容灾技术的体系:

  容灾系统的建立需要包括两个部分:数据容灾和应用容灾,具体为:
  1、数据容灾,就是指建立一个异地的数据系统,该系统是本地关键应用数据的一个实时复制。
  2、应用容灾,是在数据容灾的基础上,在异地建立一套完整的与本地生产系统相当的备份应用系统(可以是互为备 份),在灾难情况下,远程系统迅速接管业务运行。可以说,数据容灾是抗御灾难的保障,而应用容灾则是容灾系统建设的目标。

  (3)建立容灾系统的构造原则:
   容灾系统的建立,一定要以用户的需求为出发点,首先要根据应用的类型确定需求的优先顺序原则,这样才能确定相  关的方案。以下的因素应是各业务系统重点考虑的相关原则:
   1) 交易的实时性原则
     以容灾系统是否对现有业务系统运行效率产生影响衡量。
   2) 数据的一致性原则
     以数据系统在灾难发生时,远程数据是否与本地数据完全一致衡量。
   3) 带宽要求
     各种容灾方案应根据现有的远程网络带宽条件设计。
   4) 传输的可靠性和完整性原则
     在任何远程网络条件下,容灾方案应具有永远的传输可靠性和断点续传机制,否则方案将不具有生命力。
   5) 性价比
     容灾系统应该根据不同的需求和投资规模进行设计,应避免投资的浪费和不切实际。系统设计应该具有保 护现   有投资的能力。

  总之,建立容灾系统,应该在充分的技术论证的基础上,根据应用的实际需要和投资规模,采用最切合实际的相关技术。一味的求新、求高也是不可取的,只有这样,我们才能充分享受先进技术带来的成果,而不是新技术带来的高风险。


Copyright © 2004 北京航宇峰度数码科技有限公司 All Rights Reserved   网站建设: 五星网络 010-82252782