网络存储技术十篇

时间:2023-03-18 17:25:23

网络存储技术

网络存储技术篇1

关键词:网络存储;NAS;FC SAN;IP SAN

 回顾计算机技术的发展历程,不难发现计算机核心技术主要有三次大的迁移,计算机发明初期由于主要用于科学计算,因此中央处理器CPU的计算能力是研究的核心技术;随后计算机网络大面积应用,使计算机通信成为耗费时间最多的事件,因此如何提高网络带宽的技术成为热点;现今,计算机的主要应用模式己转化为数据的存储和访问,存储技术业已成为计算机核心热点技术。

受机械部件自身性能的限制,磁盘存储设备数据访问时间平均每年只提高7%~10%,而数据传输率也只是以每年提高20%的速度发展。根据摩尔定律,计算机中央处理器和内存以平均每18个月增长一倍的速度发展。根据吉尔德定律,网络带宽以每6个月增长一倍的速度发展。很显然处理器、网络带宽和磁盘IO之间的性能差距越来越大,而计算机系统性能的提高受限于系统中最慢的部件。因此,数据的存取速度己经成严重影响计算机系统的性能。传统的存储技术难以解决这一问题,采用新的存储技术,提高数据存储的I/O性能的需求越来越迫切。

1 直接附加存储(Direct Attached Storage,DAS )

直接附加存储,是传统的存储模式,以服务器为中心的存储结构,将存储设备通过传统的I/O总线、SCSI接口或光纤通道直接接驳到服务器上使用,数据的读写、存储直接发送到存储设备端。DAS不带操作系统,所有的输入输出操作都要通过服务器实现。如果需要访问存储器上的数据,必须先给文件服务器发送请求信息。

DAS的主要优点是特别适合地理上分散分布的服务器环境和存储系统必须直连到应用服务器上的场合。

DAS的不足一是安装、调试比较烦琐 , 也没有独立的存储操作系统,易造成网络瘫痪。二是因DAS采用异地备份 , 所以备份操作复杂。三是虽然DAS依靠双服务器实现双机容错功能 ,但若两台服务器同时出故障 , 则无法进行正常数据存储。

2 网络附加存储(Network Attached Storage,NAS)

网络附加存储是提供文件级服务的存储设备,通过标准的网络拓扑结构连接到一组计算机上,通过网络文件系统(NFS)或者基于I P网络的网络文件协议等标准的协议提供文件级的数据访问。NAS实际是一种带有网络文件瘦服务器的存储设备。

NAS是以存储设备为中心,采用可伸缩的网络拓扑结构,通过具有高传输速率的光通道的直接连接方式,提供SAN内部任意节点之间的多路可选择的数据交换,并且将数据存储管理集中在相对独立的存储区域网内。

NAS 的优点:一是易于安装的即插即用性。NAS内置了网卡,通过交换机直接连接到网络中,基本上不需特别设置就可支持多个计算机平台使用。二是极易部署性。NAS 设备可放置于任何地方,只通过网络连接,用户可直接在网络上存取数据。这既减轻了应用服务器的系统开销,又显著改善了网络性能。三是安全性高。NAS通常将操作系统驻留在主板芯片内,大大提高了整个系统的稳定性和病毒防犯能力。四是扩充方便。NAS 设备本身内置了多个 I/O 接口,使扩充其存储容量极为方便,同时也允许在网络中自由增加 NAS 设备。NAS 为当今异构平台使用统一存储系统提供了解决方案。

NAS 的不足:一是NAS同样采用普通数据网络传输备份和恢复,备份时网络带宽的消耗较大,当网络上有其他大数据流量时会严重影响系统性能。二是由于存储数据通过普通数据网络传输, 因此易产生数据泄漏安全问题。三是NAS存储只能以文件方式访问,而不能直接访问物理数据块,因此对事务处理和数据库等应用无能为力。

3 存储区域网络(Storage Area Network,SAN)

网络存储的主角SAN是一种以数据存储为中心,面向网络的存储结构。目前常见的可使用SAN技术主要有两种,一种是采用的是光通道(FC,Fiber Channel)技术,即FC SAN;另外一种技术是利用基于高速以太网协议(TCP/IP协议)的互联网小型计算机系统接口(iSCSI)技术,即IP SAN。

(1)FC SAN

FC SAN通过一个或多个光纤通道交换机以网络拓扑形式为主机服务器和存储设备提供互联。FC SAN 实际是一种专门为存储建立的独立于TCP/IP 网络之外的专用网络。它的核心是 FC(Fiber Channel) ,其中的服务器和存储系统各自独立,地位平等 ,SAN 的接口通常不是以太网,而是小型计算机系统接口(SCSI)、串行存储结构(SSA)、企业系统连接 (ESCON)、高性能并行接口(HIPPI)或是光纤通道。通过光纤设备进行连接,使用FC通讯协议的SAN网络我们称为FC SAN。

FC SAN的优点:一是允许用户独立增加存储容量,当数据容量增大时,可以随时追加存储空间,相比传统的存储架构SAN有更为出色的可扩展性优势。SAN可不停止系统运行进行应用服务器和存储资源的追加和置换。二是具有更高的带宽。因采用了光纤接口,利用光纤通道技术,SAN传输数据效率更高,特别是在传输大数据块时。三是显著减少备份和恢复的时间,可以灵活地进行时间表/权限管理以及备份/灾难恢复控制,容易通过计划任务使备份数据免除人为干预,同时减少网络上的信息流量。四是管理更为方便。SAN采用的集中式管理软件允许远程配置、监管和无人值守运行。五是SAN使用RAID硬件或软件确保存储的可靠性,从使用方面来讲,在很大程度上提高了系统的可靠性和可用性。

FC SAN 的不足:一是价格昂贵。不论是 SAN 阵列柜还是光纤通道交换机价格都很昂贵,就连服务器上使用的光通道卡的价格也是不易被小型企业所接受;二是由于必须单独建立光纤网络,因此异地扩展比较困难;三是虽然光纤通道技术标准存在,但SAN本身缺乏统一标准,所以多个厂商生产的SAN产品互操作性极差。目前,一些 SAN 厂商试图通过SNIA 等国际组织来制定统一的SAN产品标准,以便逐步解决互操作问题。

(2)IP SAN

随着数据在远程存储需求的扩大,网络存储领域产生了一些新的技术热点,互联网小型计算机系统接口(iSCSI)技术就是其中之一,iSCSI协议利用普通的 TCP/IP网来传输本该用SAN来传输的SCSI数据块,从而达到通过网络进行I/O操作的目的,我们称为基于IP协议的SAN。

IP SAN既有同NAS一样的前端管理部分,又能像SAN一样提供裸设备供主机使用。相对于需要单独建立光纤网络的FC SAN,IP SAN的成本要少很多。同时随着千兆网的普及,万兆网也逐渐的进入主流,使 IP SAN 的速度相对 FC SAN 来说并没有太大的劣势。

IP SAN的优点:一是IP SAN融合了FC SAN和NAS的优势,使网络存储更为高效、同时又大大的降低了成本,提高了系统的灵活性。二是iSCSI协议整合了现有的主流存储协议SCSI和主流网络协议TCP/IP,实现了存储和网络的无缝融合。

IP SAN的不足:一是当前能提供完整的IP SAN解决方案的厂商较少,同时对管理者技术要求也高;二是通过普通网卡存取iSCSI数据时,解码成SCSI需要中央处理器进行运算,无形中增加了系统的性能开销;三是由于使用数据网络存取,存取速度要受网络运行状况的影响。

下表进一步总结了这四种网络存储技术的主要区别。

网络存储技术

DAS

NAS

FC SAN

IP SAN

成本

最低

较低

最高

较高

数据传输速度

极快

较快

可扩展性

无扩展性

较低扩展性

易于扩展

最易扩展

对服务器访问方式

直接访问存储数据块

以文件方式访问

直接访问存储数据块

直接访问存储数据块

服务器开销

较低

较高

数据安全性

是否集中管理存储

数据备份效率

较低

较高

网络传输协议

TCP/IP

FC

TCP/IP

 

4 结束语

通过以上比较研究, 四种网络存储技术各有优劣。对于小型且服务较为集中的商业企业,可采用简单的 DAS 技术方案 。对于中小型商业企业,他们服务器数量比较少,有一定的数据集中管理需求,但没有大型数据库需求,NAS具有安装管理方便、价格平民化等优点,自然成为存储的优选方案。特别是对于部门服务器或独立工作组级的客户,更能充分享受NAS性能价格比的好处。

对于大中型商业企业,FC SAN和IP SAN则是较好的选择。如果希望使用存储的服务器相对比较集中, 且对系统性能要求极高,可考虑采用FC SAN技术方案。FC SAN一直以来是构建存储网络的首选,以性能稳定可靠,技术成熟著称,在关键应用领域的高可靠性毋庸置疑。对于希望使用存储的服务器相对比较分散,又对性能要求不是很高的,可以考虑采用IP SAN技术方案。IP SAN在近年有了较快发展,很多厂商的IP SAN产品销路很好,IP SAN的市场份额有了较大的增长,不过总体来说,目前仍然还是FC SAN占据上风,它广泛的用于商业企业级数据存储、服务器集群、远程灾难恢复、Internet数据服务等多个领域。

参考文献:

[1] 李瑛. 常见的网络存储技术研究与比较. 科技创新导报,2009,(06)

[2] 何丰如. 网络存储主流技术及其发展趋势. 广东广播电视大学学报 , 2009,(02)

网络存储技术篇2

[关键词] 网络存储 直接连接存储 网络附加存储 存储区域网络

一、引言

信息是一个企业可持续发展的核心动力之一,信息的可靠存储是一个企业得以正常运作和发展壮大的根本所在。随着越来越多的关键信息转化为数字形式并存储在可管理的介质中,用户对存储和管理信息的能力产生了新的需求。为更有效地使用和管理信息,用户对信息系统的搭建、数据中心的建设、数据的管理模式、数据的有效使用、信息存储介质的选择以及信息的安全存储等方面,提出多样化的要求,以达到数据的最佳利用。

网络存储设备提供网络信息系统的信息存取和共享服务,其主要特征体现在:超大存储容量、大数据传输率以及高可用性。要实现存储设备的性能特征,采用RAID作为存储实体是必然选择。传统的网络存储设备都是将RAID硬盘阵列直接连接到网络系统的服务器上,这种形式的网络存储结构称为(DAS Direct Attached Storage),目前,按照信息存储系统的构成,SAN(Storage Area Net- work)和NAS(Network Attached Storage)是最常见的两种选择。本文将详细介绍这三种存储技术的优缺点和应用范围,并将介绍几种新的网络存储技术。

二、传统网络存储技术

1.DAS存储

直接连接存储(DAS——Direct Attached Storage)是指将存储设备通过SCSI接口或光纤通道直接连接到服务器上的方式。这种连接方式主要应用于单机或两台主机的集群环境中,主要优点是存储容量扩展的实施简单,投入成本少、见效快。

DAS适用于以下几种情况:(1)服务器在地理分布上很分散,通过SAN或NAS在它们之间进行互连非常困难时;(2)存储系统必须被直接连接到应用服务器,如某些数据库使用的“原始分区”上时;(3)包括许多数据库应用和应用服务器在内的应用,它们需要直接连接到存储器上。

当服务器在地理上比较分散很难通过远程连接进行互连时,或传输速率并不很高的网络系统,直接连接存储是比较好的解决方案,甚至可能是唯一的解决方案,但是由于DAS存储没有网络结构,存在许多缺点:一方面该技术不具备共享性,每种客户机类型都需要一个服务器,从而增加了存储管理和维护的难度;另一方面,当存储容量增加时,扩容变得十分困难,而且当服务器发生故障时,数据也难以获取。因此,难以满足现今的存储要求。

2.NAS存储

网络附加存储(NAS——Network Attached Storage)即将存储设备通过标准的网络拓扑结构例如(以太网),连接到一群计算机上,提供数据和文件服务。NAS服务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。简单的说,NAS是通过与网络直接连接的磁盘阵列,它具备了磁盘阵列的所有主要特征:高容量、高效能、高可靠。

NAS由于其较好的可扩展性、可访问性、低价位、安装简单、易于管理等优点,广泛应用于电子出版、CAD、图像、教育、银行、政府、法律环境等那些对数据量有较大需求的应用中。多媒体、Internet下载以及在线数据的增长,特别是那些要求存储器能随着公司文件大小规模而增长的企业、小型公司、大型组织的部门网络,更需要这样一个简单的可扩展的方案。

但在实际应用中,NAS也存在着以下不足:(1)在文件访问的速度方面。NAS采用的是File I/O方式,这带来巨大的网络协议开销。正是因为这个原因,NAS不适合在对访问速度要求高的应用场合,如数据库应用、在线事务处理。(2)在数据备份方面。需要占用LAN的带宽,浪费宝贵的网络资源,严重时甚至影响客户应用的顺利进行。(3)在资源的整合和NAS的管理方面。NAS只能对单个存储(单个NAS内部)设备之中的磁盘进行资源的整合,目前还无法跨越不同的NAS设备,难以将多个NAS设备整合成一个统一的存储池,因而难以对多个NAS设备进行统一的集中管理,只能进行单独管理。

3.SAN存储

存储区域网络(SAN--Storage Area Network)是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用SAN的接入点。SAN是一种特殊的高速网络,连接网络服务器和诸如大磁盘阵列或备份磁带库的存储设备,SAN置于LAN之下,而不涉及LAN。利用SAN,不仅可以提供大容量的存储数据,而且地域上可以分散,并缓解了大量数据传输对于局域网的影响。SAN的结构允许任何服务器连接到任何存储阵列,不管数据置放在哪里,服务器都可直接存取所需的数据。

SAN的应用主要可以归纳为下面集中应用:构造群集环境,利用存储局域网可以很方便地通过光纤通道把各种服务器、存储设备连接在一起构成一个具有高性能、较好的数据可用性、可扩展的群集环境。(1)数据保护,存储局域网可以做到无服务器的数据备份,数据也可以后台的方式在存储局域网上传递,大大减少了主要网络和服务器上的负载,所以存储局域网可以很方便地实现诸如磁盘冗余、关键数据备份、远程群集、远程镜像等许多防止数据丢失的数据保护技术;(2)数据迁移,可以方便地进行两个存储设备之间的数据移动;(3)灾难恢复,特别是远程的灾难恢复;(4)数据仓库,用来构建一个网络系统的存储仓库,使得整个存储系统可以很好地共享。

在实际应用中,SAN也存在着一些不足:(1)设备的互操作性较差。目前采用最早和最多的SAN互连技术还是FibreChannel,对于不同的制造商,光纤通道协议的具体实现是不同的,这在客观上造成不同厂商的产品之间难以互相操作。(2)构建和维护SAN需要有丰富经验的、并接受过专门训练的专业人员,这大大增加了构建和维护费用。(3)在异构环境下的文件共享方面,SAN中存储资源的共享一般指的是不同平台下的存储空间的共享,而非数据文件的共享。(4)连接距离限制在10km左右等。更为重要的是,目前的存储区域网采用的光纤通道的网络互连设备都非常昂贵。这些都阻碍了SAN技术的普及应用和推广。

三、新的网络存储技术

1.NAS网关技术

NAS网关与NAS专用设备不同,它不是直接与安装在专用设备中的存储相连接,而是经由外置的交换设备,连接到存储阵列上——无论是交换设备还是磁盘阵列,通常都是采用光纤通道接口——正因为如此,NAS网关可以访问SAN上连接的多个存储阵列中的存储资源。它使得IP连接的客户机可以以文件的方式访问SAN上的块级存储,并通过标准的文件共享协议(如NFS和CIFS)处理来自客户机的请求。当网关收到客户机请求后,便将该请求转换为向存储阵列发出的块数据请求。存储阵列处理这个请求,并将处理结果发回给网关。然后网关将这个块信息转换为文件数据,再将它发给客户机。对于终端用户而言,整个过程是无缝和透明的。NAS网关技术使得管理人员能够将分散的NAS filers整合在一起,增强了系统的灵活性与可伸缩性,为企业升级文件系统、管理后端的存储阵列提供了方便。

2.IP-SAN技术

网络存储的发展产生了一种新技术IP-SAN。IP-SAN是以IP为基础的SAN存储方案,是一种可共同使用SAN与NAS,并遵循各项标准的纯软件解决方案。IP-SAN可让用户同时使用Gigabit Ethernet SCSI与Fibre Channel,建立以IP为基础的网络存储基本架构,由于IP在局域网和广域网上的应用以及良好的技术支持,在IP网络中也可实现远距离的块级存储,以IP协议替代光纤通道协议,IP协议用于网络中实现用户和服务器连接,随着用于执行IP协议的计算机的速度的提高及G比特的以太网的出现,基于IP协议的存储网络实现方案成为SAN的更佳选择。IP-SAN不仅成本低,而且可以解决FC的传播距离有限、互操作性较差等问题。

网络存储技术篇3

关键词:存储域网络; 网络存储 

中图分类号:TP333文献标识码:A文章编号:1007-9599 (2010) 14-0000-01 

The Network Storage Study on Storage Area Network Technology 

Tan Jia 

(Shanghai University,Shanghai200010,China) 

Abstract:This paper introduces the basic concepts of storage area network storage area networks,and various types of technical characteristics,discusses the technology-based storage area network topology and network storage structure of the technological advantages of this storage structure. 

Keywords:Storage area network;Network storage 

一、引言 

随着社会的发展与进步,人们在工作、生活当中所需要存储的数据就其规模而言已经可以称之为海量数据,可以说,在当今社会,对于这些海量数据的快速、有效以及安全的存储已经成为制约社会发展并为理论界所广泛关注的重要问题。 

二、存储域网络技术特点 

存储域网络(Storage Area Network,简称SAN)是通过专用高速网将一个或多个网络存储设备和服务器相互连接的专用存储系统,是当前应用最为广泛的存储技术。可采用光纤通道(Fiber Channel,简称FC)、IP/Ethernet、InfiniBand互连技术分别组建FC-SAN、iSCSI-SAN和InfiniBand-SAN。 

(一)FC-SAN 

基于FC的SAN应用方案是当前使用最多,产品最为成熟的SAN技术。FC-SAN主要由磁盘阵列、FC-Switch交换机和主机光纤接口卡等组成。FC-SAN存储系统主要具有技术特点是通过高速光纤通道与使用可伸缩的FC-Switch网络拓扑结构为SAN内部任意节点之间提供多路可选择的数据交换,并且由高速交换机处理设备访问的网络拥塞,使得增加连接设备的数量不会对各个设备的访问速度产生影响。 

虽然FC-SAN的性能很优越,而且其可扩展性也很好,但是由于受到现有的光纤传输方式价格昂贵的约束,其应用范围相对较小。因此,IT界又进一步研制、开发了基于普通IP协议和以太网的SAN存储技术,即IP存储(IPS)。这种技术是将SCSI协议映射到TCP/IP协议上,使得SCSI的命令、数据和状态可以在传统的IP网上传输。 

(二)IP-SAN 

由于IP-SAN存储技术采用潜在不可靠的IP网络传输数据,加之网络环境不安全,iSCSI存储要求采用多种安全措施以提高IP-SAN存储技术的可靠性以及数据访问和数据存储的安全性。通常采用的安全方法主要包括KRBs、SPKM、SPR(远程安全密码)以及CHAP(握手认证协议)等。 

(三)InfiniBand-SAN 

InfinBand是一种新型的I/O体系结构,这种技术将I/O系统与复杂的CPU/Mem分开,采用基于通道的高速串行链路和可扩展的光纤交换网络替代共享总线结构,提供了高带宽、低延迟、可扩展的I/O互连,克服了传统的共享I/O总线结构的种种弊端。InfinBand技术不仅可用于服务器内部、服务器之间以及集群系统的互连,还可用于存储系统的互连,组建基于InfinBand的SAN。 

InfinBand-SAN的主要技术特点包括:可伸缩的Switched Fabric互连结构;由硬件实现的传输层互连高效、可靠;支持多个虚拟信道(Virtual Lanes);硬件实现自动的路径变换(Path Migration);总带宽可随IB-Switch规模成倍增长;支持SCSI远程DMA协议(SRP),实现高速、低延迟的远程DMA传输,一次传输量多达4K Blocks;具有较高的容错性、抗毁性以及较高的可靠性、可用性、可维护性(RAS),同时支持热插拔。 

三、存储域网络技术存储 

(一)存储域网络存储的拓扑结构 

基于存储域网络的网络存储结构的组成部分包括主机总线适配器、网桥、路由器、光纤、集线器以及交换机等,各部件遵循连接协议进行通信。 

主机是通过主机总线适配器与存储设备相连接,FC、SCSI和ESCON的设备通过网桥相连,而SCSI总线和FC端口之间的数据转换则是通过路由器完成的。集线器在存储域网络中所起的作用与其在传统网络中所起的作用是类似的,服务器可以通过一个或多个FC集线器对存储网络进行访问。需要注意的是,集线器端口较少,一般是7-12个,共享100Mbps的带宽,但在同一时刻内只允许两个节点可以相互通讯,因此集线器非常适合较小的应用场合。FC交换机是存储域网络拓扑结构逻辑上的中心。交换机可以和集线器配合使用,组成网络互连结构,并且能够满足各个端口之间以满足带宽相互访问的要求,从而进一步提高网络系统的性价比。 

(二)存储域网络存储的技术特点 

1.提升了主机系统的存储带宽。 

存储域网络的环路带宽能够达到200MB/s,能够在很大程度上提升了主机系统的存储带宽。而且由于大量的数据存在于高速的存储域网络存储缓存当中,减轻了服务器与客户机之间的带宽压力。 

2.通过存储域网络实现对大数据量的访问操作 

在存储域网络存储系统当中,只有少量的控制信息需要通过TCP/IP网络进行传输,而大量的数据是通过存储域网络进行访问的,因此极大地节省了TCP/IP网络带宽资源。 

3.硬件设备采用冗余结构。 

存储域网络架构支持Active/Active和Active/standby,所有硬件设备都可以采用冗余结构,提高了系统的存储速度与安全性,并且提高了数据访问速度。 

四、结论 

当代社会对于存储系统高可靠性、高可用性、高性能、动态可扩展性、易维护性和开放性等众多方面的需求,对现有的存储技术提出了挑战,存储器件和设备这一级无论做得多好,都难以满足网络和企业存储的多种需求,这就需要在存储系统结构解决问题。 

参考文献: 

[1]Information and Storage Management[M].EMC Corporation,2007 

网络存储技术篇4

关键词:网络存储;NAS;SAN;虚拟存储;iSCSI

中图分类号:TP311文献标识码:A文章编号:1009-3044(2011)30-7397-02

The Status of Network Storage Technology and Development

XU Ming

(Shenyang Institute of Engineering Ministry of Computer-Based Teaching, Shenyang 110136, China)

Abstract: Article describes the status of network storage technology research, Network-Attached Storage NAS and Storage Area Network SAN are discussed. Brief introduction to the FC SAN, IP SAN, storage of virtualization technology, and FC, iSCSI protocol.

Key words: network storage; NAS; SAN; storage virtaulization; iSCSI

伴随着计算机技术和互联网络的迅速发展,人们需要存储的数据信息和资源以呈现出高速增长的态势。传统的以服务器为中心的DAS(Direct Attached Storage 直接连接存储)存储技术已经不能适应人们日益增长的存储需求。因此,近年来以存储网络技术为中心的存储技术即网络存储技术(Network Storage Technologies)得到了快速的发展,并成为计算机网络技术和存储技术交叉融合的研究热点问题。

网络存储技术是一种基于计算机网络的存储技术。根据结构不同可分为三种:NAS(Network-Attached Storage 网络附加存储)、SAN(Storage Area Network 存储区域网络)、虚拟存储(Storage Virtualization)。

1 网络存储技术研究现状

1.1 网络附加存储NAS

NAS存储系统属于文件I/O级的存储方式,即在NAS网络上传递的是文件数据[1],其作用类似于一个专用的文件服务器。它允许异构客户端直接访问存储资源,并支持多种网络协议和操作系统。NAS将通用服务器中不必要的应用程序删减掉,使存储设备与服务器进行分离,对数据进行集中管理。NAS还针对文件I/O的存取功能进行最优化处理,不仅降低了存储设备的成本,还提高了文件存取的效率。

NAS是必须依附在网络上运行的存储设备,所有数据信息都集中存放在NAS存储设备上,利用网络传输协议与服务器或工作站进行连接,并将存储空间分配给网络上的服务器或使用者。

相比通用服务器而言,NAS服务器能在不增加复杂度和管理开销、不降低可靠性的基础上,使网络存储容量增加,具有良好的可扩展性。NAS可以通过集线器或交换机方便地接入到用户网络上,是一种即插即用的网络设备[2]。在NAS存储系统中,客户端无需参与存储数据的组织与维护,它具有易用性和高性能等特点。

NAS与DAS相比的优点:

1) 支持多种应用系统平台。

2) NAS设备可以直接连接到网络上并无需配置,便于设备的扩充和管理。

3) 服务器把消耗大量CPU时间的I/O操作交由NAS设备完成,服务器的性能得到提升。

4) NAS设备不依赖于某个特定的服务器。如果某一个服务器出现了故障,NAS设备所管理的数据仍可以通过其他服务器存取,从而提高了数据的可靠性。

在NAS系统中,客户端必须通过NAS才能访问存储设备,无法直接访问存储设备;NAS必须处理来自各个客户端的I/O请求,所以NAS可能成为I/O的瓶颈。

1.2 存储区域网络SAN

1.2.1 SAN简介

SAN是一种独立于服务器网络的专门网络,是基于光纤通道的、面向数据块的存储。SAN是由专用的交换机和网关建立起的与服务器和磁盘阵列之间直接连接的子网,此子网中的存储空间可由主网 (如Ethernet、ATM、FDDI) 中的每一个系统所共享。这种网络在连接上可以使用光纤,通过光纤通道协议来传输数据。光纤通道协议具有极高的可靠性、很好的性能、超长距离支持能力以及良好的扩展性,因而SAN作为专用于存储的子网,独立于网络服务器,不占用网络服务器运算处理的网络带宽[3]。

高性能的光纤通道交换机和光纤通道网络协议是SAN技术的关键。以光纤通道交换机为骨干的网络拓扑结构称为“SAN Fabric”。光纤通道协议是SAN的另一个本质特征。SAN正是利用光纤通道协议上加载SCSI协议来达到可靠的块级数据传输的。

SAN的优点:

1) 支持远距离通信。通过城域网(MAN),SAN可以实现远程灾难恢复。

2) 一些关键应用中,在传输块级数据时要求必须使用SAN――尤其是多个服务器共同向大型存储设备进行读取时。

3) SAN的管理集中、高效。用户可以在线添加、删除设备,动态调整存储网络以及将异构设备统一成存储池等。

4) 具有很好的容错能力、高可靠性和高可用性。

SAN的缺陷:

1) 一次性投入大,成本相对较高。

2) 不同方案提供商的产品之间难以通用。

3) 容易形成信息孤岛。

4) 只能提供存储空间共享而不能提供异构环境下的文件共享。

1.2.2 FC SAN和IP SAN

早期的SAN采用的是光纤通道(FC,Fiber Channel)技术,因此,以前的SAN多指采用光纤通道的存储区域网络,直到iSCSI协议出现后,把SAN分为FC SAN和IP SAN两种。

FC(Fiber Channel)和ISCSI(Internet SCSI)是目前搭建SAN的两个主流协议,二者本质上都是在网络报文中传输SCSI指令和业务数据来实现数据传输的功能,只是传输方式和介质不一样[4]。FC是在SCSI-II基础上发展起来的一个传输协议。ISCSI是IETF制订的一项标准,用于将SCSI数据块映射成以太网数据包。ISCSI协议是一种跨过IP网络来传输潜伏时间短的SCSI数据块的方法。对于局域网来说,FC是比ISCSI更好的网络互连协议。存储网络需要跨越远距离时,ISCSI比FC更合适。IP SAN采用的是ISCSI协议,更有利于在广域网中用较低成本来消除SAN的信息孤岛。

1.3 虚拟存储技术

虚拟存储(Storage Virtualization)就是将多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池(Storage Pool)中得到统一管理,从主机和工作站的角度,看到就不是多个硬盘,而是一个分区或者卷,就好像是一个超大容量的硬盘。虚拟存储的实现方法有三种:基于主机的虚拟存储、基于存储设备的虚拟存储、基于网络的虚拟存储[5]。

虚拟存储相对于其他网络存储技术而言有其自身的特点:

1) 虚拟存储在存储资源管理上更加灵活,能把不同类型的存储设备集中管理使用,避免用户以前购买的存储设备的浪费。

2) 虚拟存储可以使用管理软件,为网络系统提供一系列功能(例如无需服务器的远程镜像、数据快照等)。

3) 虚拟存储为用户提供了一个对大容量存储系统进行集中管理的手段。利用网络中的一个节点(如服务器)进行统一管理,这样可以避免存储设备扩充带来的管理方面的麻烦。

4) 虚拟存储可以提高存储系统整体访问带宽。虚拟存储系统可以很好地平衡负载,通过将数据访问所需的带宽合理地分配给各存储模块来实现。

2 网络存储技术的发展方向

网络存储技术经过不断的发展,已经形成了几种成熟的应用结构,它们各有各的特点和应用范围。目前公认的最为成熟的网络存储技术是SAN、FC SAN、IP SAN。

对于未来网络技术和存储技术的发展来说,网络存储技术将沿着一个综合各项技术之长的方向发展,现在已经有了一些这方面的研究,例如将NAS和SAN结合,将FC SAN和IP SAN结合等。虚拟存储技术也将继续得到发展。当然也不排除有更多的、新的、更好的存储技术出现,这是我们所期望的。

参考文献:

[1] 田丰.网络存储系统的研究与比较[J].中国现代教育装备,2006(6).

[2] 徐国栋.网络存储安全研究与实现[D].上海:上海交通大学,2006.

[3] 马锡坤,徐旭东,陈岳天,等.基于SAN的网络存储系统的研究[J].中国医疗设备,2008(1).

网络存储技术篇5

1云计算技术分析

云计算技术具有规模大、虚拟化、可靠性强、高扩展性、按需付费且价格低廉、优越的事务处理环境等特点,可以根据用户的不同需求对数据信息进行计算、备份和存储,其服务模式主要包括三种,分别为基础设施即服务、软件即服务、平台即服务。基础设施即服务(Infrastructure-as-a-Service),主要是利用硬件设备和虚拟机设备等提供扩展性服务,可以更好的发挥计算机的存储作用。软件即服务(Software-as-a-Service)为用户提供虚拟桌面程序和软件应用程序。平台即服务(Platform-as-a-Service)就是根据用户的需求开发Web服务。云服务商提供的这些服务在资金节约及数据安全性等方面具有很多优势。

2造成计算机网络安全存储问题的因素分析

随着网络技术的发展,网络中存储着大量的信息,涉及到商业机密、个人机密信息等,关系着工作和生活的方方面面,因此,保障网络数据的安全显得尤为重要,但是技术的快速发展让整个网络环境变得十分复杂,很多因素都不利于网络信息的安全存储。第一,计算机系统的安全问题。计算机系统的安全问题主要变现在硬件问题和软件问题两个方面,其中,硬件系统的问题主要是硬件设备发生故障或者是人为原因对硬件设施进行破坏,软件的问题主要是操作系统、数据库等容易受到一些不法之徒与黑客的攻击,他们为了获得某些利益,通常会利用相关的技术变更用户的访问权限,严重破坏计算机系统的正常运行。第二,计算机网络病毒。计算机网络病毒的传播主要通过文件下载、网页植入、电子邮件等方式进行,通过采用计算机网络病毒对系统进行蓄意攻击,可以侵入他人的计算机网络系统盗取信息,甚至还会通过不断的复制和传播,造成整体系统的瘫痪,破坏强度大,比如木马程序,它隐藏性强,植入之后不会马上爆发,不法之徒可以通过该程序远程对计算机进行控制,给计算机网络安全造成威胁。

3计算机网络安全存储中加强云计算技术运用的策略

3.1对存储数据进行加密,提高安全保护系数

基于云计算技术提高网络数据存储安全性,可以应用加密技术,形成只有合法用户才能知道的密文,提高数据存储的安全系数。云计算环境的数据存储安全技术主要包括密码技术、加密算法体系。(1)密码技术。密码技术可以采用加密方式保护数据,数字证书鉴别身份,数字指纹及数字签名、密码技术验证等,对计算机网络安全存储十分重要。加密方式保护数据主要通过密码转换的方式将明文变成只有数据合法使用者可以恢复的密文,对传输的数据和存储的数据都可以进行加密。数字证书鉴别身份主要是通过标识网络通讯双方的身份信息确保数据的安全存储。密码技术验证主要是在数据储存过程中为了防止被篡改,将原始数据使用密码技术运算之后生成消息验证码,将消息验证码与原始数据一起存储,从而实现对数据的可靠性和准确性的验证,主要应用在票据防伪中。(2)加密算法体系。为了提高数据存储的安全性,还可以使用加密算法,包括对称加密算法、非对称加密算法、Hash算法、阿里云SSH密钥对,其中对称加密算法的加密和解密密钥是可以相互推算的,只要知道密钥就可以实现数据的解算。非对称加密算法的通信双方加密和解密所需要使用的密码是不一样的。阿里云SSH密钥对由公钥和私钥组成,是一种用户登录认证方式,确保了计算机数据存储的安全,但是该密钥对仅支持Linux实例。(3)M-POR算法。M-POR算法在“挑战—响应—验证”机制中具有非常重要的作用,当用户归档文件数据时,系统会自动将挑战申请发送到云端,云端响应用户申请之后,发送验证信息,用户通过验证说明数据是安全的即可进行归档,如果未通过验证,则代表归档文件已破损,需采进行恢复,可以采用编码冗余信息实现文件数据的恢复,但是如果文档数据破坏严重,超出了恢复的阈值需要进行数据深层分析。

3.2强化计算机网络安全防护工作

除了数据加密之外,为了防止日常操作中计算机硬件系统损坏而造成的数据安全问题,可以应用灾难备份与恢复技术和安全审计技术,帮助解决各种突发的数据安全问题,在短时间内完成各种数据的恢复,防止数据遗失。此外,还可以采用身份认证技术,提高数据存储安全性。(1)灾难备份与恢复技术。云计算环境中的灾难备份与恢复技术主要为主机失效保护技术和数据的备份与恢复技术。主机失效保护技术主要包括主机集群技术,负载均衡技术和主机切换技术。主机集群技术主要是通过心跳线方式对业务系统主机的工作情况进行监听,一旦发现问题,就会自动把业务转换到灾难恢复系统主机上来处理。负载均衡技术如果某台主机在监听中发现问题,其主机上的负载会自动分配到其它正常运行的主机上。主机切换技术根据预先设定的灾难恢复预案,实现主机切换。数据备份和恢复技术主要包括异地保存技术、异地备份技术及远程复制技术。异地保存技术将本地备份数据磁盘在其它主机进行重新安全和恢复。异地备份技术主要是借助数据备份软件,对数据进行分级存储、灾难恢复和备份等。远程复制技术经过对数据产生端与数据灾难恢复端的网络,保证两端数据量、数据内容在每时每刻都能完全相同。(2)安全审计技术。安全审计的基本思路为基于数据仓库技术、数据挖掘技术,在不同的网络环境中监听某个终端的运营情况,一旦发现问题立即按照相关的方式给被监控终端的管理者发出警告,或者是启用故障恢复系统进行问题排查,追踪和分析历史数据记录,确保网络系统的运行安全及存储的数据安全。(3)身份认证技术。身份认证技术通过口令核对身份验证、智能IC卡身份认证、Kerberos身份认证以及PKI身份认证,确保用户登录的合法性。

3.3增强和完善云计算信息库的防火墙功能

防火墙在整个计算机系统的运行中具有非常重要的作用,它是网络安全的重要保护屏障之一,通过防火墙技术可以拦截各种恶意软件和病毒的攻击和入侵,但是随着网络入侵技术的不断提升,需要对防护技术进行不断升级,可以采用安全组。安全组是一种虚拟防火墙,由同一个地域内具有相同安全保护需求并相互信任的云服务器实例组成。安全组具备状态检测和数据包过滤功能,用于在云端划分安全域。通过配置安全组规则,允许或禁止安全组内的云服务器实例对公网或私网的访问。

3.4云安全服务的应用

除了数据加密之外,还可以采用云计算环境下的云安全服务提高数据存储的安全性,一是,应用基础安全服务。一是,云服务器中的基础安全服务。该服务可以实现漏洞扫描、对异常登录进行检测,通过云安全中心或者是云服务器的控制台可以随着查看云服务器的安全状态以确保存储的数据安全。二是,DDoS基础防护服务。通过该防护服务可以有效拦截对云服务器的恶意攻击,保护云服务器的安全稳定运行,阿里云云盾默认为云服务器实例免费提供最大5Gbit/s恶意流量攻击。三是,RAM访问控制。只有具有RAM用户权限策略才能对云服务器资源进行访问,一定程度上保证了数据资源的安全性。

4结束语

网络存储技术篇6

【关键词】信息资源;存储技术;固态盘;云存储

Abstract:Due to expanding the application field of information storage,the network information resources increase rapidly,through the network transmission of information continues to work storage technology is becoming more and more important,it has become the key of the enterprise information construction,This article mainly analyzes the three kinds of network storage technology,namely SAN boot startup technology、storage virtualization technology、application performance extension technology,solid-state disk technology and cloud storage technology are discussed emphatically.it has high reference value to the choice of network storage technology in the enterprise information construction.

Keywords:Information resources;Storage technology;Solid-state disk;Cloud storage

1.引言

进入二十一世纪后计算机和互联网技术迅速发展,政府、企业和个人均可建立和访问海量信息。数据是信息的载体,高频率的网络数据访问、视频会议、多媒体邮件、视频点播以及数字电视等网络的应用,迫切需要大容量、高性能的存储设备。数据存储网络化是存储技术发展的必然趋势。

2.SAN引导启动技术

SAN(Storage Area Network―存储区域网络)BOOT引导启动技术是指将服务器的操作系统及应用软件部署在高性能、高可靠的外置存储系统中,服务器可以方便的从SAN环境启动,而不必受限于内置磁盘容量、性能、可靠性和扩展性等的限制。相对而言,传统的服务器内置磁盘启动有不少的局限性,不便于系统迁移和数据集中管理。采用服务器,可以有效的解决上述问题,并为新一代数据中心[1]。

2.1 SAN技术在架构和管理方面的优势

(1)服务器系统整合:在采用刀片式架构的服务器系统中,服务器本身不用配置本地硬盘,这样可以在有限的空间中集成大量服务器,达到节省空间和节能的目的;

(2)系统盘集中管理和集中的数据保护通过SAN BOOT技术可以将多台服务器的系统盘集中到存储设备上进行统一管理,可以充分利用存储设备的各种先进的管理功能,如:对于同型号的服务器,可以通过卷复制进行服务器的快速部署,还可以通过存储设备的远程镜像功能进行系统容灾;

(3)服务器系统故障的快速恢复,一旦SAN BOOT的服务器出现故障,可以很快将其系统卷映射给其它服务器,从而实现快速故障恢复。当然,SAN BOOT也有其局限性:一是需要稳定可靠的存储系统,而且要求存储系统和服务器能够兼容;二是所有服务器从存储设备上启动,这对存储设备的性能要求较高。

2.2 存储设备高可用性解决方案

(1)存储阵列设备选用经过主机厂商测试认证过的产品,以确保其兼容性。同时,在存储阵列设备中采用高可靠的全冗余配置,并在主机与存储阵列间通过冗余的光纤交换机实现高可靠的交叉冗余连接,以保证SAN BOOT整体的稳定性。

(2)SAN BOOT存储通常采用高性能的光纤存储阵列,其前端具有足够的光纤通道接口和大量的高速缓存来提供高性能。对于虚拟内存等更高性能的服务器本地存储要求,可通过在存储阵列或服务器中使用固态盘来满足。

(3)在保证存储设备自身硬件可靠性和存储网络连接全冗余的同时,通过在SAN BOOT磁盘组中采用高可靠级别的RAID技术、不同存储设备中的启动盘映像副本选择启动、磁盘阵列镜像等技术,可切实保证SAN BOOT的可用性,在邮政金融系统逻辑集中项目中,核心业务的存储系统采用的均是最高端的存储设备,其自身具备很高的稳定性、可靠性[2]。SAN存储系统结构如图1所示:

图1 SAN存储系统结构

3.存储虚拟化技术

存储虚拟化是针对存储硬件资源的虚拟化方法的集合,它涵盖了存储虚拟池化、逻辑分区、自动分级存储、自动精简配置、集群网络存储等一系列存储技术。在邮政金融系统逻辑集中项目中,就运用了存储虚拟化技术来保障不同应用的存储需求和服务级别,实现存储资源利用的最大优化。基于网络的存储虚拟化有对称化和非对称化两种方式[3],如图2、3所示:

图2 存储虚拟化对称结构

图3 存储虚拟化非对称结构

(1)在对现有存储设备进行利旧时,应该考虑采用存储虚拟池化技术将整个存储网络中分散、独立的存储资源虚拟整合为一个或多个存储池,可以有效地屏蔽现有存储环境的复杂性和异构差异,并实现存储系统的集中管控和数据的统一管理。

(2)对于核心业务应用系统,其存储需求的特点是高性能、高安全。因此,可通过存储逻辑分区技术让多个关键应用安全地分享存储资源,在实现统一管理的同时,可保证各应用所需的服务级别和服务质量。

(3)对于非关键业务应用系统,其存储需求的特点是高性价比且易于管理和扩展。因此,在对现有存储设备利旧并使用存储虚拟池化、自动分级存储技术的同时,可考虑采用存储自动精简配置技术来进一步提高存储资源的利用率。

3.1 存储虚拟池化技术

存储虚拟池化技术可将整个存储网络中的不同存储子系统整合成一个或多个可以集中管理的虚拟存储池,即存储池可跨多个存储子系统,并在存储池中按需建立一个或多个不同的虚拟卷,通过将这些虚拟卷按一定的读写授权分配给存储网络中的各应用服务器,达到充分利用存储容量、集中管理存储和降低存储成本的目的。

3.2 存储逻辑分区技术

存储逻辑分区技术可将单个存储系统中的资源分隔成多个独立可配置、可管理的存储分区,同时每个存储分区可根据其上应用系统的要求分别设置其所拥有的资源,从而实现多个应用安全地分享存储资源,并有效保障各应用所需的服务级别和服务质量。在邮政金融信息系统逻辑集中项目中,采用了高性能的存储系统,并通过逻辑分区技术让多个关键应用分享存储资源,从而提高了存储资源的利用率。

3.3 自动分级存储技术

自动分级存储技术是根据数据的重要性、访问频率、保留时间、容量、存取性能等指标,将数据通过不同的存储方式(在线、近线和离线)分别存储在不同性能的存储设备上,通过分级存储管理实现数据客体在存储设备之间的自动迁移。自动分级存储的工作原理是基于数据访问的局部性。同时,自动分级存储技术通过减少非重要性数据在高层次存储中所占用的空间,还可有效提高整个系统的存储性能[4]。

在数据分级存储架构中,分级存储设备是根据具体应用可以变化的,存储层级的划分是相对的,且可分为多种级别。例如:可以在单一存储设备中采用“固态盘―光纤通道/SAS磁盘―SATA磁盘”这种三级存储结构,也可以在一个虚拟化存储环境中采用“高速存储阵列―低速存储阵列―虚拟磁带库―传统磁带库”这种四级存储结构,具体采用哪些存储级别需要根据具体应用需求而定。在邮政金融信息系统逻辑集中项目中,从以下两方面应用了自动分级存储技术:

(1)在单一存储设备中,可将访问最频繁、性能要求最高的重要数据放在固态盘组上,将访问较频繁的数据放在光纤通道/SAS磁盘组上,并将不经常访问的数据放在SATA磁盘组上。依据分级策略,自动分级存储技术可在数据的生命周期内对数据进行适时地降级迁移,通过将活跃度或重要性降低的数据自动迁移到性能、成本相对较低的磁盘上。

(2)结合存储虚拟池化技术,将分布在不同存储设备上的“存储池”层级化。在按服务级别分别提供给不同应用使用的同时,通过自动分级存储技术来将数据甚至是整个虚拟卷在不同层级的存储资源间进行在线的自动升级或降级迁移。

3.4 存储自动精简配置技术

自动精简配置是一项针对存储资源进行自动分配和利用,避免存储空间被无限制索取、浪费的技术。通常,一组主机或者应用对存储容量的需求是随时间而发生改变的,因而为其全额分配的容量在初始阶段不能得到充分的利用。精简配置技术通过存储虚拟池化技术,可以为不同应用提供一个公用的单一预留容量池。同时,通过创建比物理容量大的逻辑卷,能够让管理员给应用或主机配置超出实际物理容量的存储容量。这样就大大提高了存储利用率,有效降低了存储容量的一次性采购成本,并达到了节约空间和节能减排的目的。

在大幅提高存储利用率的同时,通过自动扩展已经分配的存储卷,自动精简配置技术可显著提升存储系统的可扩展性。在邮政金融系统逻辑集中项目中,采用了自动精简配置技术为非关键应用系统动态、按需地分配存储容量,以优化存储系统的资源利用率。

4.应用性能扩展技术

应用性能扩展技术可根据应用和时间为存储资源划分优先级,并使高优先级主机在数据存取带宽和读写延迟方面获得最佳性能。应用性能扩展技术提供了端到端的应用系统服务质量控制,通过设置应用所需要的最小平均带宽或者最大平均响应时间指标,可确保多个应用共享存储资源时的服务质量要求。利用应用性能扩展技术,可以解决的主要问题:(1)为应用提供端到端的服务水平管理;当多个应用共享存储系统时,通过设置服务级别来保证关键应用系统的性能;(2)动态的监控应用系统的实时性能,查看与服务级别对比的性能历史数据;(3)调整存储资源来满足关键应用系统的性能要求。

5.固态盘(SSD)技术

固态盘(Solid State Disk,SSD)是采用固态电子存储芯片阵列制成的存储介质,由控制单元和存储单元(DRAM或FLASH芯片)两部分组成。固态硬盘的接口规范、定义、功能和使用方法与普通硬盘相同,在产品外形和尺寸上也与普通硬盘一致。相比于普通硬盘,固态盘具有速度快、功耗低、无噪音、抗震动、重量轻等优势。

5.1 SSD的特点

(1)读写速度快:采用闪存作为存储介质,读取速度相对机械硬盘更快。固态硬盘不用磁头,寻道时间几乎为0。固态硬盘持续读写速度超过了500MB/s,固态硬盘的快不仅体现在持续读写上,随机读写速度快才是固态硬盘的明显优势;

(2)防震抗摔性:传统硬盘都是磁碟型的,数据储存在磁碟扇区里。而固态硬盘是使用闪存颗粒制作而成,所以SSD固态硬盘内部不存在任何机械部件,这样即使在高速移动甚至伴随翻转倾斜的情况下也不会影响到正常使用,而且在发生碰撞和震荡时能够将数据丢失的可能性降到最小;

(3)低功耗:固态硬盘的功耗上要低于传统硬盘;

(4)无噪音:固态硬盘没有机械马达和风扇,工作时噪音值为0分贝。基于闪存的固态硬盘在工作状态下能耗和发热量较低。内部不存在任何机械活动部件,不会发生机械故障。由于固态硬盘采用无机械部件的闪存芯片,所以具有了发热量小、散热快等特点;

(5)工作温度范围大:一般的硬盘只能工作在5--55摄氏度范围内,而大多数固态硬盘可在-10--70摄氏度范围内工作。固态硬盘比同容量机械硬盘体积小、重量轻;

(6)轻便:固态硬盘在重量方面更轻,与常规1.8英寸硬盘相比,重量轻20-30克。由于固态盘没有磁头,也不存在机械硬盘的寻道问题,因而启动和数据随机读取的速度非常快,其I/O响应时延也远低于普通硬盘(1ms以内)。机械硬盘内部结构如图4所示。

图4 机械硬盘内部结构

5.2 SSD的基本结构

基于闪存的固态硬盘是固态硬盘的主要类别,其内部构造比较简单,固态硬盘内主体是一块PCB板,而这块PCB板上最基本的配件就是控制芯片、缓存芯片和存储数据的闪存芯片,固态硬盘内部结构如图5所示。

图5 固态硬盘内部结构

(1)主控芯片:主控芯片是固态硬盘的大脑,其作用一是合理调配数据在各个闪存芯片上的负荷,二则是承担整个数据中转,连接闪存芯片和外部SATA接口。

(2)缓存芯片:主控芯片旁边是缓存芯片,固态硬盘和传统硬盘一样需要高速的缓存芯片辅助主控芯片进行数据处理。

(3)闪存芯片:除了主控芯片和缓存芯片以外,PCB板上其余的大部分位置都是NAND Flash闪存芯片了。NAND Flash闪存芯片又分为SLC(单层单元)、MLC(多层单元)以及TLC(三层单元)NAND闪存。

企业级固态盘在设计中采用了断电保护技术和冗余技术,并支持10万次的持续擦写(采用SLC存储单元)能力,可以为使用固态盘的存储设备提供有效的高可靠性。在邮政金融信息系统逻辑集中项目中,使用了固态盘作为数据库重做日志存储载体,显著提升了重做日志的效率,使得数据库重做日志没有成为系统的性能瓶颈。

6.云存储技术

根据云平台部署方式的不同,“云”可以分为四种类型:公有云、社区云、混合云和私有云;同时,云服务将主要通过三种交付形态提供:软件作为服务(SaaS)、平台作为服务(PaaS)和基础架构作为服务(IaaS)。云存储就是将储存资源放到云上供用户存取的一种新兴方案[5]。

6.1 基本概念

云存储是在云计算(cloud computing)概念上延伸和衍生发展出来的一个新的概念。云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息。云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,网络中大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统,保证数据的安全性,并节约存储空间,如图6所示。

6.2 云存储的特点

就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由大量存储设备和服务器所构成的集合体。用户使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以云存储不是存储,而是一种服务。

图6 云存储客户服务结构

6.3 云存储的分类

云存储可分为三类:公共云存储、内部云存储、混合云存储。其中公共云存储可以划出一部分用作私有云存储,私有云存储可以部署在企业数据中心或相同地点的设施上。私有云可以由企业的IT部门管理,也可以由服务供应商管理。

(1)公共云存储:像亚马逊公司的Simple Storage Service(S3)和Nutanix公司提供的存储服务一样,它们可以低成本提供大量的文件存储。供应商可以保持每个客户的存储、应用都是独立的、私有的。国内主要有百度云盘、华为网盘、360云盘等;

(2)内部云存储:这种云存储和私有云存储比较类似,唯一的不同点是它仍然位于企业防火墙内部。可以提供私有云的平台有:Eucalyptus、3A Cloud、联想网盘等;

(3)混合云存储:这种云存储把公共云和私有云/内部云结合在一起。特别是需要临时配置容量的时候,主要用于按客户要求的访问。

6.4 云存储的结构

云存储系统的结构模型由4层组成:存储层、基础管理层、应用接口层、访问层。云存储是SAN引导启动技术、存储虚拟化、存储逻辑分区、自动分级存储、应用性能扩展、自动精简配置等技术的综合应用。

(1)存储层:存储层是云存储的基础部分。存储设备可以是FC光纤通道存储设备、NAS和iSCSI等IP存储设备,也可以是SCSI或SAS等DAS存储设备;

图7 云存储总体架构

(2)基础管理层:基础管理是云存储的核心部分,也是云存储中最难实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个存储设备可以对外提供同一种服务,并提供更强大的数据访问性能;

(3)应用接口层:应用接口是云存储最灵活的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控、IPTV和视频点播、远程数据备份等应用平台;

(4)访问层:任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。云存储总体架构如图7所示。

7.结束语

本文研究了三类计算机网络系统的数据存储技术,并重点探讨了目前主流的SSD和云存储等数据存储新技术,以期解决计算机网络系统数据存储容量和传输速率等问题。在邮政金融信息系统逻辑集中项目中,通过与存储智能性能监控技术相结合,应用性能扩展技术可以动态地按需调整各关键应用的服务级别和存储资源,使存储系统能够及时地适应具有不同服务级别且动态变化的多个应用的存储性能需求,从而给各应用提供最佳的性能保证,并提高了存储系统的利用率。

参考文献

[1]鲁士文.存储网络技术及应用[M].清华大学出版社,2010:20-39.

[2]张冬.网络存储系统原理精解与最佳实践[M].清华大学出版社,2008:52-63.

[3]邓劲生.广域网络存储虚拟化技术研究[D].国防科学技术大学,2005:2-13.

[4]任玉玲,唐靖.虚拟存储技术研究[J].商丘职业技术学院学报,2009,8(5):39-41.

网络存储技术篇7

高校数字图书馆系统中的存储技术

根据其出现时间的先后,大致可将数据存储技术的发展分为4个阶段:直接附属存储(DAS),网络附属存储(NAS),存储区域网(SAN),IP存储(IPS)。

1.DAS

20世纪90年代以前,存储产品大多作为服务器的附属设备通过电缆直接连接到各种服务器,这种形式即是DAS。DAS完全以服务器为中心,不带有任何存储操作系统。DAS方式是长期以来大多数服务器采取的方式。主机通过专用接口与存储设备相连接,透过RAID技术将这些单个硬盘,按RAID LEVEL组合成更大的硬盘。当主机需要访问存储设备时,主机发出指令给存储设备,存储设备根据指令进行相应操作,将数据返回给主机,或者将主机传输过来的数据写入到磁盘。DAS中存储设备可以是磁盘驱动器,也可以是RAID子系统,或是其他存储设备。

DAS技术的数据安全性差,难以备份/恢复;性能一般,可扩充性差,容量有限;数据被存放在多台不同的服务器上,难于访问,不支持不同操作系统访问。DAS技术成本低廉,易于安装,但需停止用户现有系统,且难以维护,存储利用率低。

2.NAS

20世纪90年代出现了NAS技术。NAS包括存储部件和集成在一起的简易服务器管理软件。NAS是一种将分布、独立的数据整合为大型、集中化管理的数据中心。NAS通常在一个LAN上占有自己的节点。在这种配置中,一台NAS服务器处理网络上的所有数据,将负载从应用或企业服务器上卸载下来。集成在NAS设备中的定制服务器系统可以将有关存储的功能与应用服务器执行的其他功能分隔开。NAS设备的物理位置灵活,通过物理链路与网络连接。NAS无需应用服务器的干预,允许用户在网络上存取数据。

其特点是,易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同的存储器上,易于访问,支持不同操作系统访问。NAS技术成本低廉,易于安装和维护,存储利用率较高。

3.SAN

SAN是允许在存储设备和处理器(服务器)之间建立直接的高速网络连接,通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总路线概念的一个扩展,它使用局域网和广域网中类似的单元,实现存储设备和服务器之间的互联。SAN具有高传输速度、远传输距离和支持数量众多的设备等优点。采用了专用的拓朴结构,不能直接使用通用的IP网络连接各个SAN存储网络。目前,多数供应商的SAN解决方案大多采用光纤通道技术,即FC—SAN。

SAN技术的特点是,易于备份/恢复;性能极高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,但不支持不同操作系统访问。SAN技术成本昂贵,需要长时间的设计和安装,且难以维护,存储利用率很高。

4.IP存储

IP存储技术就是以高速以太网连接为基础,通过IP协议进行数据交换的存储技术,它将SCSI协议映射到TCP/IP协议上,使得SCSI的命令、数据和状态可以在传统的IP网上传输,其支持数据块形式的I/O访问和共享存储。它采用iFCP和iSCSI协议,由于光纤通道已经包含了SCSI协议,这种方法无需重大技术改造,就能满足SCSI协议的要求。

IP技术的特点是,易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,支持不同操作系统访问。IP技术成本低廉,易于安装和维护,存储利用率最高。

基于IP的高校数字图书馆网络存储建设

在网络存储中,FC—SAN在某些方面具有无可比拟的优势,如性能极高,可扩充性强等,使其能够满足数字图书馆大规模数据存储的需要,但光纤通道存在着成本昂贵和互操作性问题,这是一般高校图书馆所不能承受的。而NAS技术虽然成本低廉,但却受到带宽消耗的限制,无法完成大容量存储的应用,而且系统难以满足开放性的要求。针对以上技术的缺陷和不足,根据国际上基于IP的存储设备已逐步上市和日渐成熟的情况,提出了一种既有ANS和SAN技术的优点,又能克服两者缺点的存储网方案,即基于IP的SAN。它由两部分构成,第一部分是利用IP互连设备构成存储区域网SAN,第二部分是通过SAN中的交换机多路接入LAN回路,形成一种广义的附网存储NAS,存储设备都是商用的NAS设备以及iSCSI设备,或通过转换桥将SCSI和FC设备转换为IP接口,接入基于IP协议SAN中。它采用最广泛的TCP/IP作为网络协议,既具有NAS易于访问的特点,又有专用的存储网络架构。因此,基于IP的存储网络可以利用以太网技术和设备来构建专用的存储网络,由于使用了以太网设备,其成本大大低于使用光纤交换机的SAN网络,而且保持了SAN的传输速率高且稳定的优点。用户在这一技术中,面对的是非常熟悉的技术内容,即IP协议和以太网,而且各种IP通用设备保证了用户可以具有非常广泛的选择空间。事实上,由于IP存储技术的设计目标,就是充分利用现有设备,使传统的SCSI存储设备和光纤存储设备都可以在IP—SAN中利用起来。随着带有IP标准接口的存储设备的出现,我们可以单纯使用本地IP存储技术,来扩展已有的存储网络,或构建新的存储网络。以千兆甚至万兆以太网为骨干的网络连接,保证了本地IP存储网络。由于采用的是IP协议,与LAN和Intemet的连接是无缝的,远程备份十分方便,效率工作很高。基于IP的SAN在性能及功能上都具有突出的优势,是目前高校数字图书馆建设中存储区域方案设计的首选方案。

参考文献

1 郭建峰.数字图书馆信息存储系统架构的探析.现代情报,2005(6)

2 李培.数字图书馆馆原理与应用.北京:高教出版社2004

3 李村合.谈网络环境下的信息存储技术.情报学报,2002(1)

2 张伟.网络存储技术的发展现状与应用.福建电脑, 2003(1)

网络存储技术篇8

    随着围绕数字化、网络化开展的各种多媒体处理业务的不断增加,电视台的媒体数据正日益膨胀。数据存储变成了新的难题,存储系统网络平台已经成为各种网络系统中的一个核心平台。视频网络中的各种应用对存储网络平台的要求也越来越高,它不仅表现在对存储容量的要求,还包括对数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面的要求。具体表现有一下几点:

1、支持从异构主机到异构存储系统的透明访问。即服务器可以运行异构操作系统,例如Windows、Unix或Linux等等。存储设备可以来自不同的供应商,无论是EMC、康柏、HP、还是StorageTek的存储设备,都可以顺利地接入系统。

2、支持24×7小时的数据可用性。我们知道,电视台网络系统的时效性是很强的,这样就要求网络系统必须具有极高的可靠性。首先要求系统有较高的容错性,例如控制器要有高可容错性,存储子系统要求具备容错冗余;其次故障恢复时间要求很短,或尽可能做到进行系统维护、设备更换时,不中止应用程序的使用。

3、高性能的数据访问。非线性制作网络中的编辑工作站任何时候都需要无阻碍的实时、快速的获得所需要的各种数据。

4、数据安全性。只允许有访问权的用户进行相应数据的访问,同时能够提供灵活的备份方案和措施,支持数据保护和恢复;

5、平滑的存储容量扩展。视频网络的建立是受建网时所处的技术、具体工作需要所限制的。任何单位都要或多或少地面对网络升级的问题,我们希望存储网络上添加存储设备的过程是透明,而且任何工作站都不需停机。

6、简化管理、降低管理成本。客户是产品的使用者,所以越来越多的系统操作环境,使用不同厂商的硬件和软件产品,且彼此不能兼容,管理起来的确不是一件轻松的事情。操作友好、管理简单是未来产品的发展目标。

    这些对存储网络平台的要求归结起来就是:如何以有限的人力、物力资源,经济有效地管理不断增长的数据,简化管理异构操作环境的复杂性。虚拟存储技术以其独特的优势成为广播电视行业应对上述挑战的最佳解决方案。

二、虚拟存储的概念及特点

    一段时间以来,不同版本的虚拟存储(Storage Virtulization)概念相继涌现,有从软件角度诠释的,也有从硬件角度进行例证的。每个厂商都有根据对虚拟技术的理解向用户提供的实用产品。在虚拟存储方面真可谓百家争鸣,所以很难对虚拟存储的概念给出一个清晰而准确的描述。

    尽管如此,总结一些虚拟存储的共同特性可以看出,所谓虚拟存储,就是把多个存储介质模块(如磁盘、磁盘阵列)通过一定的手段集中管理起来,所有的存储模块在一?quot;存储池"(Storage Pool)中得到统一管理。在虚拟存储环境下,无论后台物理存储是什么设备,服务器及工作站看到的都是其熟悉的存储设备的逻辑镜像。即使物理存储发生了变化,这种逻辑镜像也不会改变,系统管理员不必关心后台存储,只需专注于管理存储空间,所有的存储管理操作,例如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等都比以前容易的多,存储管理变得轻松简单。

    从用户的角度来看,可以用一句更简单的话来概括虚拟存储--使用存储空间而不是使用物理存储硬件(磁盘、磁带),管理存储空间而不是管理物理存储硬件。

虚拟存储具有以下几个特点:

1、虚拟存储可以大大提高存储系统的整体访问带宽,这也是其对于视频网络系统来说最有价值的一个特点。我们知道,视频网络的存储系统一般是由多个存储模块组成,而虚拟存储系统可以很好地进行负载平衡,把每一次数据访问所需要的带宽合理地分配到各个存储模块上,这样系统的整体访问带宽就增大了。例如,一个存储系统中有4个存储模块,每一个存储模块的访问带宽为50MB/s,则这个存储系统的总访问带宽就可以接近各存储模块带宽之和,即200MB/s。

2、虚拟存储提供了一个大容量存储系统的集中管理手段,由网络中的一个环节 (如服务器)进行统一管理,避免了由于存储设备扩充而带来的管理方面的麻烦。例如,使用一般的存储系统,当在增加新的存储设备时,整个系统(包括网络中的诸多用户设备)都需要重新进行繁琐的配置工作,这样才可以使这个"新成员"加入到存储系统中。而使用虚拟存储技术,在增加新的存储设备时,只需要网络管理员对存储系统进行较为简单的系统配置更改,客户端无需任何操作、只是感到存储系统的容量增大了。

3、虚拟存储技术为存储资源管理提供了更好的灵活性。它可以将不同类型的存储设备集中管理使用,保障了用户以往购买存储设备的投资。

三、虚拟存储的实现方式

    随着越来越多的厂商都在发展各自的技术,虚拟存储技术已经融合到存储系统结构的各个环节中。从系统的观点看,有三种主要的虚拟存储实现方式:基于服务器的虚拟存储、基于存储设备的虚拟存储以及基于存储网络的虚拟存储。如图1所示。

下面对这三种虚拟存储的实现方式分别进行介绍。

1、基于服务器的虚拟存储

    基于服务器的虚拟存储是通过将虚拟化层放在服务器上实现的。这种实现方式不需要额外的特殊硬件,虚拟化层以软件模块的形式嵌入到服务器的操作系统中,将虚拟层作为扩展驱动模块,为连接服务器的各种存储设备提供必须的控制功能。

    这种方法有其自身不可避免的缺点:首先,兼容性不好,由于虚拟化层驻留在服务器上,因而软件模块就必须能嵌入到各种类型的操作系统中,增加了软件实现的难度。因此,这种方法往往适合配置在系统采用同一个厂商的服务器,甚至是一个同构的存储环境中。这显然增加了用户的设备依赖性和局限性;其次,需要采用集中管理策略,这种虚拟化的技术实际上是在一个分布式的环境中实现的,当任何一个服务器对数据进行恶意或非法的操作时,就可能会影响到所有连接到存储设备的数据的完整性和一致性,因此需要适当的集中管理策略; 最后,这种实现方法从客观上造成了主机的负载和复杂度的增加。

    但是,因为不需要任何附加硬件,基于服务器的虚拟实现方式最容易实现,其成本最低。目前已经有成熟的这类软件产品。这些软件可以提供便于使用的图形界面,方便地用于存储的管理和虚拟,在主机和小型存储系统中有着良好的负载平衡机制。从这个意义上看,基于服务器的存储虚拟是一种性价比不错的方式。

2、基于存储设备的虚拟存储

    基于存储设备的虚拟存储是将虚拟化层放在存储设备的适配器、控制器等上来实现的。这种实现方式从理论上说性能是最优的,它能够充分考虑存储设备的物理特性,并且将服务器从虚拟存储的实现工作中解放出来,直接在存储设备上实现,方法简单,也为用户和系统管理员提供了最大的方便性。但是,基于存储设备的虚拟存储对存储容量的扩展有很大限制,同时,对于包含多家厂商存储设备的存储系统来说,这种方法的运行效果并不是很好。

最典型的虚拟存储璞甘谴排陶罅校≧AID)。RAID的虚拟化是由RAID控制器实现的,它将多个物理磁盘按不同的分块级别组织在一起,通过CPU及阵列管理固件来控制及管理硬盘,解释用户的I/O指令,并将它们发给物理磁盘执行,从而屏蔽了具体的物理磁盘,为用户提供了一个统一的具有容错能力的逻辑虚拟磁盘,这样用户对RAID的存储操作就像对普通磁盘一样。

3、基于网络的虚拟存储

    从技术上讲,在网络端实施虚拟存储的结构形式有以下两种:对称式与非对称式,下面就对这两种结构形式分别加以介绍:

(1)对称式虚拟存储

    从图2可以看出,对称式虚拟存储就是指进行虚拟存储管理和控制的高速存储控制设备(High Speed Traffic Directors,缩写为HSTD)置于网络系统的传输通道上。HSTD与存储池子系统(Storage Pool)集成在一起,组成存储区域网络应用系统(SAN Appliance)。

    在该虚拟存储形式中HSTD在服务器与存储池数据交换的过程中起到了核心作用。其虚拟存储过程可以这样描述:由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元(LUN),并进行端口映射(就是指定某一个LUN能被哪些端口所见),在服务器端,将各个可见的逻辑存储单元映射为操作系统可以识别的盘符。当服务器向存储网络系统中写入数据时,用户只需要将数据写入到指定为自己所用的映射的盘符(LUN),数据经过HSTD的高速并行端口,先写入高速缓存,HSTD中的存储管理系统自动完成目标位置由LUN到物理磁盘的转换,在此过程中用户见到的只是虚拟逻辑单元,而不必关心每个LUN的具体物理组织结构。该存储形式具有以下主要优点:

·采用大容量高速缓存,显著提高数据传输速度。缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当服务器从存储设备中读取数据时,会把与当前数据存储位置相连的数据读到缓存中,并把频繁调用的数据保留在缓存中;当服务器读数据时,在很大几率上能够从缓存中找到所需要的数据。这样就可以直接从缓存上读出,我们知道从缓存上读取数据的速度要远大于从硬盘中读取数据的速度;当服务器向存储设备写入数据时,先把数据写入到缓存中,待服务器端写入动作停止,再从缓存中将数据写入硬盘,这种写入方式同样高于直接写入硬盘的速度;

·采用多端口通道并行技术,增加数据带宽。我们知道在传统的FC存储设备中,控制端口与硬盘之间的关系是固定的,访问一块硬盘只能通过控制它的控制器端口进行。在对称式虚拟存储设备中,SAN Appliance的存储端口与LUN的关系是虚拟的,也就是说多台服务器可以通过多个存储端口(最多8个)并发访问同一个LUN。在光纤通道100MBps带宽的大前提下,并行工作的端口数量越多,数据带宽就越高;

· 逻辑存储单元提供了高速的磁盘访问速度。在视频网络中,应用程序读写数据时以固定大小的数据块为单位(从512byte到1MB之间)。而存储系统为了保证应用程序的带宽需求,往往设计为传输512byte以上的数据块时才能达到其最佳I/O性能。在传统SAN结构中,当容量需求增大时,唯一的解决办法是多块磁盘(物理或逻辑的)绑定为带区集,实现大容量LUN。在对称式虚拟存储系统中,为服务器提供真正的超大容量、高性能LUN,而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比,Power LUN具有很多优势,如更大的数据块会真正被存储系统所接受,有效地提高了数据的传输速度,同时,也减少了由于带区集而带来的不稳定因素。

但是对称虚拟存储也存在一些不足:

·由于虚拟存储的控制交换设备直接存在于服务器和存储设备之间,所有服务器对存储设备的访问都要经过它的通道与管理。为了使控制交换设备不成为整个系统的带宽瓶颈,该设备就需要有很大容量的缓存(Cache)来用于进行数据交换,所以通常这种控制交换设备都比较昂贵;

·同样由于虚拟存储的控制交换设备直接存在于服务器和存储设备之间,因此该设备的安全性对于整个系统就是至关重要的, 一旦它出现故障,所有数据通道将被阻塞,造成网络系统数据传输崩溃。

(2)非对称式虚拟存储

非对称式虚拟存储结构如图3所示。

    从图3可以看出,非对称式虚拟存储就是在服务器和存储设备之间正常的数据访问传输通道之外,通过配置一个虚拟存储管理器来实现存储器池的虚拟化处理。

    虚拟存储管理器通过其FC端口连接到存储网络中,并提供一个中央管理点,对整个存储网络进行集中管理,同时,它还对磁盘阵列进行虚拟化操作,将各阵列中的LUN虚拟为逻辑带区集(Strip),并指定每台服务器对每一个Strip的访问权限(可写、可读、禁止访问等)。服务器在访问Strip时,首先通过控制路径,向虚拟存储管理器的发出访问Strip的请求,根据其请求的合法性,为服务器建立访问Strip的数据通道,进行规定的读或写操作。非对称虚拟存储与对称式虚拟存储相比较有如下优点:

·虚拟存储控制器只是进行对所有存储设备的软件配置和将这些配置与管理信息传送给各服务器的工作,因而其无需大量的和高价性的硬件部件,其价格就相对较低。

·将不同物理硬盘阵列中的容量进行逻辑组合,实现虚拟的带区集,将多个阵列控制器端口绑定,在一定程度上提高了系统的可用带宽;

·虚拟存储控制器不在实际的数据通道上,它的硬件性能不会成为系统带宽的瓶颈,同时,即使它出现故障,也不会引起网络系统的数据通道阻塞,提高了系统的安全性。

但是非对称虚拟存储也存在一些不足:

·非对称虚拟存储的安全性相对较差。它在本质上还是带区集--磁盘阵列结构,一旦带区集中的某个磁盘阵列控制器损坏,或者这个阵列到交换机路径上的铜缆、GBIC损坏,都会导致一个虚拟的LUN离线,而带区集本身是没有容错能力的,一个LUN的损坏就意味着整个Strip里面数据的丢失;

·由于非对称虚拟存储的带宽提高是通过阵列端口绑定来实现的,而普通光纤通道阵列控制器的有效带宽仅在40MB/s左右,因此要达到几百兆的带宽就意味着要调用十几台阵列,这样就会占用几十个交换机端口,在只有一两台交换机的中小型网络中,这是不可实现的。

四、 虚拟存储在视频网络中的应用

1、在分级存储(HSM)管理系统中的应用

    国内的视频公司如索贝、大洋都开发出了各自的媒体资产管理系统。在媒体资产管理系统的存储模式设计中,他们都推出了在线(On-line)、近线(Near-line)、离线(Off-line)三级相互结合的存储模式。如图4所示是近线存储的系统结构示意图。

    从图4我们可以看出,近线存储实际上就是一个分级存储系统,它采用的是分级存储的三层次的存储架构,即它由承担在线存储的磁盘阵列、近线存储的光盘库和离线存储的磁带库三部分来组成。而典型的服务器端虚拟存储主要是指分级存储,也就是用磁带库来做虚拟磁盘。在服务器的磁盘容量不足或者希望用较廉价的磁带来仿真较昂贵的磁盘的时候,常常采用这种方案。

    在业内引起很大反响的 "中央电视台新闻共享系统"采用了StorageTek公司的近线存储解决方案,下面就以StorageTek公司的VSM (虚拟存储管理系统)为例,来介绍虚拟存储技术在HSM中的应用。

     传统的存储环境下,客户选择磁带和自动磁带库主要用于备份,但是越来越多的客户考虑到价格因素,开始用磁带代替磁盘用于某些应用,然而,服务器本身的设计造成磁带介质的使用率低下,当将数据存入磁带盒时,只能存入一组数据。根据数据量的大小,没被使用起来的磁带盒容量可高达99%。所以,即便客户使用自动磁带库,他们也只能将20%~50%的并经常使用的磁带盒放入磁带库自动操作,其他的仍放在手工操作的架子上。

    StorageTek公司的VSM (虚拟存储管理系统) 是为有效和充分地使用磁带介质和磁带机驱动器资源而设计的虚拟存储解决方案。其利用磁盘缓存仿真成虚拟的磁带机和磁带介质。也就是说,一个物理磁带机可以被虚拟仿真成多台磁带机的镜像。多个虚拟磁带卷经叠加后才写入物理磁带介质上,这样就有效地并充分地使用磁带介质和磁带机。

    VSM由一系列硬件和智能软件产品组成。VSM 的硬件主要是VTSS--虚拟磁带子系统和自动磁带库产品,VSM的软件主要包括VTCS(虚拟磁带控制系统)、ExPR(专业性能报告系统) 和控制自动磁带库的 HSC(主机软件部件) 软件。

    图5是虚拟磁带子系统的示意图,物理磁带机或磁带库被放置在磁盘缓存的后面。VSM将存储在磁盘缓存中的虚拟磁带卷迁移到真正的物理磁带上,这个过程不占用服务器资源。被迁移出去的虚拟磁带卷可以从磁盘缓存中删除,释放的磁盘空间用以存放新的虚拟磁带。被迁移出去的虚拟磁带卷也可以保留一段时间再删除,以便需要用它进行恢复。

    当需要从虚拟磁带卷上恢复数据时,如果该虚拟磁带仍存放在磁盘缓存中,那么可以直接从磁盘缓存恢复到服务器磁盘上;如果该虚拟磁带已被迁移并且已从磁盘缓存中删除,那么可以从存放该虚拟磁带卷的物理磁带上将数据恢复。多个虚拟磁带卷(VTV)可以合并叠加后写到一盘物理磁带介质(MVC)上。这样做,一方面可以确保备份数据的安全,另一方面可以充分利用大容量磁带介质的容量。

    VTCS软件是HSC软件的扩充,它们配合起来工作,决定哪些作业备份数据写入虚拟磁带子系统,哪些直接写到物理磁带上。对于要被写入虚拟磁带系统的数据,VTCS负责分配虚拟磁带驱动器(VTD)和虚拟磁带卷(VTV),并完成虚拟的装带/卸带工作。

    图6所示是VSM的工作原理,首先我们可以看出VSM是通过ESCON通道与主机相连接。VSM 将磁盘系统仿真成虚拟的3490E磁带机驱动器和3490E磁带介质,以磁盘作为缓存。也就是说,一个物理磁带机可以被虚拟仿真成多台磁带机的镜像,多个虚拟磁带卷(VTV)经叠加后才写进物理磁带卷(MVC)上。大部分磁带操作都直接面对磁盘缓存的、虚拟磁带的装带。装带/卸带都是在瞬间完成的(仅需20秒),提高了素材从近线设备迁移到在线设备的效率。

2、在存储区域网络(SAN)中的应用

    目前以SAN为代表的网络存储技术被公认为是存储业界的重要发展方向,SAN具有高可用性、高可扩展性、高性能及集中存储管理等诸多优点,但同时它也存在一些与生俱来的问题:互操作性比较差,导致不同提供商的产品难以兼容;复杂的体系结构增加了管理复杂度等。

    采用什么措施才能改变SAN的种种问题呢?于是就有人提出了SAN内部虚拟化的解决方案,就是VSAN。SAN内部的虚拟化的实现,就是在原有SAN体系结构中加入一个新的虚拟化层架构。通过这个虚拟化层,可以将多种设备上比较小的存储容量集合起来,虚拟成一个大的磁盘,提高存储容量的使用率,为应用程序和用户提供SAN的全局逻辑虚拟化视图。服务器不必关心后端物理设备的物理特性,也不会因为物理设备发生任何变化而受影响。这样从用户和应用程序来看,原来复杂结构的SAN就是一个结构相对简单的、具有统一界面的虚拟存储池,它对用户和应用程序完全透明,而存储池中逻辑存储单元的具体细节则只是系统管理员所关心的问题。管理员可以通过GUI等图形用户界面让很多服务器共享后端的存储池,因而大大提高了系统管理员的工作效率。

    目前,国内的视频厂商已经推出了各自的基于虚拟SAN结构的技术,比较有代表性有大洋公司的SDD技术、索贝公司的虚拟存储技术(SVM),以及现在流行的并行处理技术S2A系列存储系统,下面就分别给予介绍。

(1)基于FC技术的以SDD为核心的SAN结构网络

    SDD(SAN DataDirector,简称SDD)是一种新型的集中存储设备,它的核心技术是DataDirect Networks公司提出的新一代SAN技术,其实质是对称式虚拟存储技术。它将交换、缓存、RAID、I/O、ASIC以及数据和文件的管理集于一身,并可以完成数据和网络的管理,为数据交换提供高带宽、高容错的集中存储访问。 SDD内部有二个完全相同的组件,称之为HSTD(High Speed Traffic Directors)。每个HSTD有四个100MB/s带宽流量的数据交换端口,称之为HOST。一个SDD拥有二个HSTD的800MB/s带宽。HOST端口可直接与服务器、工作站相连,也可与光通道交换机相连。每个HSTD还有一个60芯的数据总线用于和硬盘阵列相连完成数据交换。SDD具有5GB容量的数据缓存能力,为整个系统读写公用, 从而保证大量数据的持续读写性能。如图7是基于SDD的网络结构图:

SDD主要技术优势有以下几点:

·带宽处理能力大幅提高。内建强大的RAID引擎,它的处理能力远大于磁盘通道和服务器通道标称的带宽,使阵列的控制器不会成为瓶颈。单个SDD可提供高达800Mb/s带宽。同时提供广泛的、线性的性能提升;

·扩展性好。在SDD网络中,FC交换机都与SDD控制器相连处于并行工作状态且互不影响。当站点增加时,不用交换机级联,只需将新的FC交换机接入SDD即可,不用改动以前的连接。带宽得到线性增长,能构架大型网络;

·稳定性、安全性好。网络结构简单,连接点少,出错的机率小,易判断出错点。SDD网络结构连接简单,故障点少。在存储硬盘与SDD,FC交换机与SDD之间都采用双链路备份,容错能力强。

(2) 基于FC技术的以STOREAGE为核心的虚拟存储网络系统

    如图8是以STOREAGE为核心的虚拟存储网络系统,其特性是利用多个硬盘塔和专用的控制器,实现网络存储带宽扩展,其实质是非对称式虚拟存储系统。实际上,它和SDD的原理都是加大了RAID控制器的带宽,只不过SDD是采用了集成在内部专门的控制器,而STOREAGE是利用外部的虚拟存储设备控制器(SVM)将已有的RAID控制器带宽聚合起来。SVM处于系统数据通道之外,不直接参与数据的传输,服务器可以直接经过交换机对存储设备进行访问。SVM只对多存储设备进行读/写操作的通道端口配置,然后将配置信息提交所有服务器。各服务器在访问存储系统时,数据流不再经过虚拟存储控制器,而直接使所有存储设备并发工作,达到增大传输带宽。比如可以用四个硬盘塔,实现14*100Mb/s的写入数据,26*100Mb/s的读出数据。

和SDD比起来,它的优势在于:

·SVM只是进行对所有存储设备的配置和将这些配置与管理信息传送给各主机的工作,主要利用软件来完成该项工作,无需大量和高价的硬件部件,价格较低;

·SVM不在实际的数据通道,硬件性能不会成为系统带宽的瓶颈;

·存储系统可以对已有的系统升级,即只需增加硬盘塔和SVM控制器。配置比较灵

活,技术开放性好;

·SVM系统保持标准SAN结构,为系统互连和扩展提供技术保障。

但是,这种存储结构有个致命的缺点,就是在利用软件来完成存储设备的配置并把这些配置与管理信息传给各主机的工作时,在交换机中保存许多信息,工作一段时间,交换机中就存在大量的冗余信息,这样容易造成交换机的端口堵塞,严重时能造成交换机的死机。

(3)新一代并行存储技术S2A系列高性能存储系统

    继推出SDD存储技术后,DDN公司又推出了新一代并行存储技术S2A系列高性能存储系统。产品系列包括S2A3000、S2A6000和S2A8000。目前,中央电视台、广州电视台等许多家电视台的视频网络都采用了这种存储技术。

    S2A全面提升了SAN技术的三个重要性能指标:存储容量、计算能力和传输能力,使它们均衡发展提供均衡的性能输出,全面满足了高性能存储的需要。S2A无论从其针对视频的带宽要求还是安全特性方面,都非常适合目前电视台节目制作系统的集中在线存储,S2A是Datadirect公司提出的SAN Appliance(存域网络设备)概念的产品,把交换设备、RAID设备、连接设备以及管理设备整合为一个统一的整体,为用户提供一个完全透明的、高性能的、高安全性的以及可管理性的存储设备。它提供了一整套系统管理软件,其中一个就是Vlun Manger(虚拟逻辑单元管理器),Vlun Manger提供存储资源管理,可以任意分配所需要的存储资源为需要访问的主机设备访问,提高了系统资源使用的灵活性。如图9 所示是某家电视台基于S2A6000构建的新闻共享系统的存储系统。

 

网络存储技术篇9

关键词:计算机;网络存储;发展方向

中图分类号:TP333 文献标识码:A 文章编号:1006—8937(2012)23—0095—02

1 网路存储技术简介

①DAS(Direct Attached Storage,直接附加存储)技术。在企业开始时,用户的存储规模和要求都不大,只是把相关的数据存储在一个特定的地方。不仅数据存储的最终目标是能够安全保存,而且还必须保证数据可以随时调用。DAS的直接连接,可以解决单台服务器的存储空间扩展,高性能传输的需求,和一个单一的系统外部存储容量引进大容量硬盘,一个单一的外部磁盘存储系统容量将上升。此外,DAS还可以构成一个以高可用性磁盘阵列为基础的双机系统,以满足数据存储的高可用性要求。在网络带宽足够的情况下,服务器本身成为数据I/O的瓶颈。之前绝大多数存储系统都属于这种类型。

②NAS(Network Attached Storage,网络附加存储)技术。NAS的方式全面改善了以前低效的DAS存储,它是独立于PC服务器、文件服务器,单独为网络数据存储。 NAS是一个集中的存储,易于管理和维护。NAS技术分开数据处理,处理和存储数据的设备已经不再是一个主机的附属物,成为网络中的一个独立的实体存在。这种存储技术,存储设备由于不直接与服务器连接,存储容量是很容易扩展的,因而NAS具有良好的灵活性和可用性。但其主要缺点是:增加网络流量,成为用户传输数据的瓶颈。

③SAN(Storage Area Network,存储域网络)技术。SAN是一种新型的数据存储技术。它是传统SCSI技术与网络技术相结合的产物。具有高可扩展性,可管理性和容错好处。SAN技术能有效地克服以上两种技术的功能缺陷,以实现企业数据存储的高可靠性,高可扩展性和高度集中性。加强数据管理,降低总成本。存储设备已经不再是一个私人设备和网络接入到任何存储设备的主机,所以在网络上的主机可以通过主机总线适配器(HBA)访问。SAN技术不仅提供大容量存储的数据,还可以缓解大量的数据传输。SAN对企业网络数据存储局域网的影响,已成为一种必然趋势。

④虚拟存储技术。要形成一个大容量的内存在使用虚拟存储、存储器和外部存储器,这种技术被称为虚拟存储。虚拟存储技术迄今为止没有统一的标准,其虚拟化存储的拓扑,主要表现在两个方面:对称与不对称。对称式虚拟存储技术是虚拟存储控制设备与存储软件系统,交换设备集成为一个整体,内嵌在网络数据传输路径。非对称虚拟存储技术是指虚拟存储控制设备独立于数据传输路径。虚拟存储既克服物理设备的局限性,又具有物理设备在高性能、高可用性、充分利用等方面的优势,因此该技术也得到了广泛的应用。

2 不同网络存储技术的选择

DAS这种技术已经比较原始,存储系统是计算机系统的一部分,大多以存储设备形式出现。此方案使数据相互隔离,容易形成数据岛屿。NAS和SAN与传统网络存储技术相比而言,无论是从网络传输带宽、数据共享性还是从存储容量的可扩充性、数据的一体化和安全性等方面来说,其优越性是不言而喻的。所以,现在众多的用户在对其存储技术进行选择时,其首选已经不再是DAS了。

①选择NAS技术。如图1所示NAS设备主要用于不同的操作系统平台下的文件共享应用,NAS作为一个网络附加存储设备,可以是有效的,紧密的释放系统总线资源,全力支持I/O存储。与传统的服务器或DAS存储设备NAS设备安装、调试、使用和管理非常简单相比,使用NAS可以节省一定的设备管理成本。应用NAS存储技术的企业,维护成本低,使用可以发挥现有网络优势。NAS比较适合中小型企业的数据存储。

②选择SAN技术。如图2所示,SAN通常是基于光纤通道SAN网络存储设备和服务器连接到这样一个大的数据访问需求,数据通过SAN网络之间的服务器和后端办公存储设备。局域网的带宽消耗几乎为零,而且服务器可以访问SAN上的任何存储设备,数据具有可用性。性能和可靠性要求应用场合使用先进的SAN数据存储网络、数据存储、备份和原有的局域网络,这将减少网络负荷,以确保现有网络顺利应用无关的其他活动。SAN网络采用光纤传输通道,高速数据传输速率。因为以上特点,SAN非常适用于服务器集群,远程灾难恢复,互联网数据服务等领域。

③选择虚拟存储技术。虚拟存储技术提供了更好的存储资源管理方案不同类型的存储设备,可集中管理和使用,保护用户以前购买的存储设备。存储技术可以用来解决浪费的存储空间,它集成了多种分布式的存储空间,形成一个连续寻址的逻辑存储空间,打破了单个物理磁盘的容量限制。存储池自动重新分配数据和高效的快照技术降低容量需求,并极大地提高存储资源利用率。

3 网络存储未来的发展方向——云存储

云存储是未来计算机网络存储的发展方向。顾名思义,云存储是伴随着云计算应运而生的。云存储这种商业模式共享了服务器的数量,大大提高了其服务的使用率。以下讨论了云存储所应用的相关技术。

①应用存储技术、网络宽带技术。可以通过应用存储技术来减少云存储中服务器的数量、数据传输链路。从而使系统建设成本的降低,其可以减少单点故障和性能瓶颈服务所造成的系统故障,可以减少,并最终以确保整个系统高效,稳定运行。是可以存储应用程序、服务器和存储设备的集合。宽带不仅关系到速度,但也有一些相关技术,例如协议、通信技术,半导体技术和网络技术。分布在全国和世界的云存储系统,用户通过宽带接入设备来连接云存储。为了获得足够的数据带宽,真正享受到云存储服务的网络带宽用户,他们必须有足够的发展。

②存储网络化管理技术、存储虚拟化技术。存储虚拟化允许多个存储设备,以实现统一管理,部署和监控的目标。在虚拟云存储环境,用户的存储设备的详细信息和物理位置是透明的。虚拟存储统一通过云来实现统一管理,用户感知、查询许多不同的信息资源和服务。

③集群技术、分布式文件系统。云存储系统是由多个不同的存储设备,通过集群技术,分布式文件系统技术来实现,可提供同类服务,可以提供数据访问的性能。

4 结 语

随着计算机系统和网络的不断发展,计算机网络存储的方式也越来越多。文章对网络存储的技术进行相关的讨论,并且分析了相关存储技术所应用的情形。云存储以其在扩展性、高效性、安全性等方面的优势,将成为未来网络存储的发展趋势。所以文章也对云存储进行了相关的讨论。

网络存储技术篇10

关键词:云存储;资料归档;网络存储

1 云存储技术简介

云存储技术主要是依赖于高速分布式互联网进行数据的存储,在网络中搭设多种不同类型、不同容量以及不同物理位置的存储设备,借助云计算进行管理,让这些分散于网络中的数据能够并行工作,从而形成了一个非集中式的大型数据存储和访问系统。云存储能够合理运用网络空间,存储资源更加丰富,按照需要也可以获得很好的扩展性,通过网络管理软件等可以快速对资源进行管理和取用,和集中存储的管理方式基本相同。在网络中存储的信息相对比较分散,所以受到攻击时也不容易造成整体的崩溃,只要能够进行良好的保护,网络中的信息就能够得到有效的保护。

2 资料档案信息网络存储及其实际应用意义

2.1 资料档案信息网络存储

互联网技术日益成熟,越来越多的人在使用互联网,使得网络中信息的种类和数量都在不断增加,同时人们对于信息的取用要求也越来越频繁,如何采取一种高效的存储方式,让网络中的信息更好的进行使用,是目前信息管理工作者需要面对的问题。档案信息存储的方式非常多,基于本地计算机系统的存储方式,方便集中管理和使用,但是面对网络不断扩展,这种方式使得网络中处于远端的设备访问不便,所以利用互联网分布计算的优势,在网络中分布存储,可以通过特定的网络载体进行存储。相比较于传统存储模式,云存储通过网络将部分的档案信息组合成一个整体,使得多个信息资源单位可以通过网络进行信息的共享和传输,解除了集中信息存储的限制。而且随着档案信息种类增多,数量增加,网络存储能够提供更大的空间,同时提供高速的访问服务,节约本地信息资源占用的空间。云存储是目前最为经济,安全性较高的信息存储解决方案,长期存储得到了很好的保证。所以说,资料档案信息的存储,未来会十分依赖网络存储。

2.2 云存储对资料归档的重要意义

信息量的增加,对管理提出了更高的要求,同时大量冗余的信息会占用存储空间增加负担,根据客观需要进行存储更为合理。按照档案信息的管理规定,选择合适的存储年限和存储方式,对于需要长久存储的档案信息,应当选择更加安全稳定的存储方式,而云存储技术的分布式优势能够很好的解决这一问题。分布式存储解决了长期存储稳定性不足的问题,在网络中的备份能够及时恢复保证数据安全,同时分布式存储通过网络机密和授权访问,确保资料能够完整保存。实际档案存储过程中,网络存储体现出了非常多的优势,成本低,运维方便,对于网络的安全开放,也让档案信息可用性更高,便于分布式管理档案信息,云计算解除了档案管理的时间和空间限制,所以说云存储在资料归档中具有实际应用意义。

3 云存储在资料归档中的应用方式

3.1 利用资源网站进行云存储

档案信息资源原始数量庞大,档案管理部门对于这样庞大的数据信息,可以很好的利用资源网站的服务器进行存储,通过网络存储代替本地资源存储,大大降低了本地资源占用的空间。使用网络资源网站存储原始档案资源,降低了本地计算机存储系统的压力,同时在资源网站合理开放接口,可以在服务器端进行其他档案信息的收录和管理。资源网站对于资源的存储可以说是全方位的,不论类型和更新频率,服务器都能够承载,具有很强的可用性,海量的档案信息都可以得到安全的存储。

3.2 利用网络硬盘进行云存储

网络硬盘也就是建设在网络中的大容量存储介质,很多网络公司都推出了在线的资源存储服务,提供了一个资源存储、管理和分享的网络空间,就相当于一个虚拟的移动硬盘,只是访问方式是通过网络进行。网络硬盘相比资源网站使用更加方面,借助网络公司的公用服务器硬盘,实现网络存储。网络硬盘可以随着用户需求扩展空间,成本也比较低廉,借助网络公司的服务器资源,更加安全和稳定。

3.3 利用同步盘进行同步存储

同步盘与网络硬盘可以结合使用,同步盘将网络硬盘与本地计算机硬盘进行映射和同步,通过网络将本地计算机存储的信息进行网络备份,这样在其他计算机中也可以对存储资源进行检索和管理。同步盘提供自动备份更新数据的服务,将本地计算机增加的信息及时的上传到服务器中,这样就可以通过网络将同步盘作为计算机的一个虚拟硬盘使用,更加直接的对数据进行管理,同步服务让信息存储更加稳定,降低了本地计算机的压力,确保计算机信息能够得到稳定保存。

4 结语

云存储技术在大数据时代应用广泛,随着时代的发展,档案信息的存储和使用也有了更高的要求,认真研究云存储技术,创新档案信息的存储方式,提高存储稳定性和安全性。档案信息资源不论是种类还是数量都在不断增加,云存储提供了良好的解决方案,这就需要资源管理者采用合理的存储方式,提高资源存储和管理的工作效率。

参考文献:

[1]高宏卿,汪浩.基于云存储的教学资源整合研究与实现[J].现代教育技术,2010(03).

[2]李君鹏,周宇.基于云存储的在线备份服务创新[J].华南金融电脑,2010(03).

[3]郭凌翔.浅谈云存储及其安全性[J].福建电脑,2010(05).

[4]周可,王桦,李春花.云存储技术及其应用[J].中兴通讯技术,2010(04).