存储范文10篇

时间:2023-04-08 18:42:55

存储范文篇1

[关键词]云存储;服务;云备份

近年来,随着云计算[1-2]和软件即服务(SaaS)[3-5]的兴起,云存储成为信息存储领域的一个研究热点。与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统[6]。

云存储提供的是存储服务,存储服务通过网络将本地数据存放在存储服务提供商(SSP)提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心,只需向SSP申请存储服务,从而避免了存储平台的重复建设,节约了昂贵的软硬件基础设施投资。

云存储这个概念一经提出,就得到了众多厂商的支持和关注。Amazon公司推出弹性块存储(EBS)技术支持数据持久性存储;Google推出在线存储服务GDrive;内容分发网络服务提供商CDNetworks和云存储平台服务商Nirvanix结成战略伙伴关系,提供云存储和内容传送服务集成平台;EMC公司收购BerkeleyDataSystems,取得该公司的Mozy在线服务软件,并开展SaaS业务;Microsoft公司推出WindowsAzure,并在美国各地建立庞大的数据中心;IBM也将云计算标准作为全球备份中心扩展方案的一部分。

2009年12月,因特网数据中心(IDC)的2010年IT和电信行业十大预测中指出:云计算将扩张并走向成熟,会诞生许多新的公共云热点、私有云服务、云应用以及将公共云与私有云联系起来的服务。

1云存储技术

云存储系统与传统存储系统相比,具有如下不同:第一,从功能需求来看,云存储系统面向多种类型的网络在线存储服务,而传统存储系统则面向如高性能计算、事务处理等应用;第二,从性能需求来看,云存储服务首先需要考虑的是数据的安全、可靠、效率等指标,而且由于用户规模大、服务范围广、网络环境复杂多变等特点,实现高质量的云存储服务必将面临更大的技术挑战;第三,从数据管理来看,云存储系统不仅要提供类似于POSIX的传统文件访问,还要能够支持海量数据管理并提供公共服务支撑功能,以方便云存储系统后台数据的维护。

基于上述特点,云存储平台整体架构可划分为4个层次,自底向上依次是:数据存储层、数据管理层、数据服务层以及用户访问层。云存储平台整体架构如图1所示。

(1)数据存储层

云存储系统对外提供多种不同的存储服务,各种服务的数据统一存放在云存储系统中,形成一个海量数据池。从大多数网络服务后台数据组织方式来看,传统基于单服务器的数据组织难以满足广域网多用户条件下的吞吐性能和存储容量需求[7];基于P2P架构的数据组织需要庞大的节点数量和复杂编码算法保证数据可靠性[8]。相比而言,基于多存储服务器的数据组织方法能够更好满足在线存储服务的应用需求[9],在用户规模较大时,构建分布式数据中心能够为不同地理区域的用户提供更好的服务质量[10]。

云存储的数据存储层将不同类型的存储设备互连起来,实现海量数据的统一管理,同时实现对存储设备的集中管理、状态监控以及容量的动态扩展,实质是一种面向服务的分布式存储系统。

(2)数据管理层

云存储系统架构中的数据管理层为上层提供不同服务间公共管理的统一视图。通过设计统一的用户管理、安全管理、副本管理及策略管理等公共数据管理功能,将底层存储及上层应用无缝衔接起来,实现多存储设备之间的协同工作,以更好的性能对外提供多种服务。

(3)数据服务层

数据服务层是云存储平台中可以灵活扩展的、直接面向用户的部分。根据用户需求,可以开发出不同的应用接口,提供相应的服务。比如数据存储服务、空间租赁服务、公共资源服务、多用户数据共享服务、数据备份服务等。

(4)用户访问层

通过用户访问层,任何一个授权用户都可以在任何地方,使用一台联网的终端设备,按照标准的公用应用接口来登录云存储平台,享受云存储服务。

与传统的购买存储设备和部署存储软件相比,云存储方式存在以下优点:

(1)成本低、见效快

传统的购买存储设备或软件定制方式下,企业根据信息化管理的需求,一次性投入大量资金购置硬件设备、搭建平台。软件开发则经过漫长的可行性分析、需求调研、软件设计、编码、测试这一过程。往往在软件开发完成以后,业务需求发生变化,不得不对软件进行返工,不仅影响质量,提高成本,更是延误了企业信息化进程,同时造成了企业之间的低水平重复投资以及企业内部周期性、高成本的技术升级。在云存储方式下,企业除了配置必要的终端设备接收存储服务外,不需要投入额外的资金来搭建平台。企业只需按用户数分期租用服务,规避了一次性投资的风险,降低了使用成本,而且对于选定的服务,可以立即投入使用,既方便又快捷。

(2)易于管理

传统方式下,企业需要配备专业的IT人员进行系统的维护,由此带来技术和资金成本。云存储模式下,维护工作以及系统的更新升级都由云存储服务提供商完成,企业能够以最低的成本享受到最新最专业的服务。

(3)方式灵活

传统的购买和定制模式下,一旦完成资金的一次性投入,系统无法在后续使用中动态调整。随着设备的更新换代,落后的硬件平台难以处置;随着业务需求的不断变化,软件需要不断地更新升级甚至重构来与之相适应,导致维护成本高昂,很容易发展到不可控的程度。而云存储方式一般按照客户数、使用时间、服务项目进行收费。企业可以根据业务需求变化、人员增减、资金承受能力,随时调整其租用服务方式,真正做到“按需使用”。

2云备份应用

云存储可以支持多种应用方式,如云备份、云数据共享、云资源服务等,也可以提供标准化的接口给其他网络服务使用。下面以我们自行研制的B-Cloud云备份为例,简单介绍云存储应用的具体技术细节。

B-Cloud的部署结构如图2所示。云备份系统包括3个层次的备份云:

最上层为广域云,也称公共云,覆盖范围为所有备份客户可以通过广域网访问的区域。广域云的服务器包括广域管理器、广域云存储节点等。

中间层为区域云,通常按照地理区域(如省、地区等)来划分。相应地,服务节点包括区域云管理器、区域云存储节点。

最下层为本地云,也称私有云。本地云既可以按小的地理区域划分,也可以按照特定实体划分,如企业、组织或校园。本地云可运行于广域网或局域网,用户限于区域内的人员,服务节点包括本地管理器、私有云存储节点。

区域云、私有云同广域云一样,具有多个本地的存储节点,共同服务于多个备份客户端。

B-Cloud云备份系统的拓扑结构可描述为:以广域云为根节点,区域云和本地云为分支节点,构成的一颗备份云的树状结构。每个节点都具有自己的备份管理器与存储节点,分别完成本区域内的备份任务调度与备份数据的存取。物理相连的广域云、区域云、本地云之间,相邻两层的关系为父子关系,其中子节点可看作是父节点的一个特殊客户。该结构具有良好的扩展性,当前定义了3个层次,随着用户规模的增长、服务区域的拓展,可根据需要对某级节点进行裂变,增加新的节点层次。

新用户注册时,首先访问系统的注册服务器(负责全局用户管理)。由注册服务器按照预先定义的分配策略,匹配用户的特征信息,如客户端IP地址所属的网段或区域、Email地址所属的组织、用户所属的地理区域等,将用户分配到相应的备份云节点。由备份云的管理服务器进行用户信息的维护。完成注册后,备份客户端每次请求服务时,只需登录系统,在指定的备份云节点下,与相应的备份管理器、存储节点进行三方通信,接受备份及恢复服务。

按照访问就近原则,地理位置越近,实体之间数据传输的效率越高、成本越低。通过这种分层拓扑结构,使得备份服务系统中的多调度服务器和多存储服务器建立一种有序的层次关系,能够更好地服务于不同区域的多备份客户端。

云备份服务的应用特点决定了应用需求,需求驱动了云备份需要研究的3项关键技术的发展。B-Cloud云备份系统的研究涵盖了服务架构的几个方面,他们相互之间的关系如图3所示。

云备份服务与传统的备份软件相比,不同点主要体现在3个方面:

(1)用户规模

备份软件通常应用于局域网或目标群体固定的广域网范围内。由于用户规模较小,出于易于部署维护、成本低廉等考虑,通常存储服务器较少,用户对存储服务器的访问路径是固定的,无须根据各种影响因素动态指定或调整。

云备份服务的对象则是广域网范围内的大规模用户,而且随着服务推出时间的延长,用户数量会持续增长。为此,系统必须设置多台存储服务器,以满足系统扩展性方面的要求。在此基础上,系统必须能够很好地响应大量用户的并发访问,并通过高效的并行调度策略来为用户指定合适的目标存储服务器,使得存储服务器总体负载均衡,且达到较高的存储利用率。同时,该过程必须对用户完全透明。

(2)数据量

云备份服务与备份软件在用户规模上的区别将直接导致两者所处理的数据量区别极大。广域网范围内的大规模用户所产生的备份数据很容易达到TB甚至PB级,如何通过研究数据组织方法和压缩算法,来提高海量数据的传输和存储效率,进而提高系统性能、降低硬件成本、实现存储节能,具有重要的现实意义。

(3)服务安全

云备份服务要满足多方面的需求:既要兼容客户端的异构数据平台,又要满足数据在块级、文件级及应用级的完整性;既要适应于复杂多变的广域网环境,又要保证数据的安全性。

要统筹兼顾的问题越多,意味着存储系统的功能越复杂,也就越容易产生各种异常。另一方面,云备份服务系统比一般的备份软件对可信性的要求更高。

当前备份服务的概念在中国刚刚兴起,阻碍其发展的一个重要原因是用户的消费习惯。人们在潜意识里总是感觉将关键数据备份在可视范围内的身边设备上比较安全。而一旦要求用户把私密数据备份到异地的数据中心,则会担心数据安全性能否得到充分保障。客观上云备份服务容易产生各类异常,主观上用户对备份服务更高的安全需求,都造成了对云备份服务的安全性研究刻不容缓。

以上讨论的云备份的应用特点对应了如下云备份研究的几个主要方面:

(1)命令流

B-Cloud包括三大部分:备份客户端、管理器和存储服务器。管理器是整个服务系统的管理中心,负责任务调度、作业管理及服务过程中的状态监控。备份或恢复操作开始之前,从备份客户端提出服务请求,到系统开始提供服务这段时间,3个部分除了执行双向安全认证之外,还有一项很重要的任务就是由管理器完成作业调度,建立备份客户端与存储服务器之间的联系。

(2)数据流

备份或恢复数据流的传输在备份客户端与存储服务器之间直接完成,不需要经过管理器。这种数据不经过中间环节直接在数据源和目的地之间的传输,不仅提高了效率,而且对系统整体负载平衡起到了较好的效果。备份数据组织与压缩是数据传输与存储的关键所在。

(3)服务的安全性

云备份的安全涉及到服务平台的安全性、各个模块的安全性及模块之间协调和通信的安全性。这个问题需要专门的论述才能阐述清楚,本文不做过多讨论。

存储范文篇2

关键词存储虚拟化;逻辑存储;对称/非对称

1引言

随着信息数字化、网络化开展的各种多媒体处理业务的不断增加,企业的信息量不断增加,面对不断膨胀的数据量和不断增多的物理存储设备,如何能够保证一个存储系统具有高性能的I/O吞吐率、高可靠性和高扩展能力,以及良好的容错性能,成为各个IT产商倾注极大热情去解决的重大问题。特别是由于在存储系统中存在着大量的异构服务器和存储系统,非常有必要进行全面的存储管理,而传统DAS、NAS和SAN等存储形式已无法满足以上对存储设备的需求,所以存储虚拟化逐渐成为共享存储管理的主流技术。

2虚拟存储的概念

存储虚拟化是把不同接口协议(如SCSIiSCSI或FC等)的网络存储设备(如JBOD、RAID和磁带库等)整合成一个虚拟的存储池,根据需要为主机创建和提供虚拟存储卷。存储虚拟化是具存储设备和存储系统的抽象,展示给用户一个逻辑视图,同时将应用程序和用户所需的数据存储操作和具体的存储控制分离。因而可以充分利用异构平台的存储空间,达到最优化的使用效率。

3存储虚拟化的实现

存储虚拟化可以在三个不同的层面上实现,包括了基于专用卷管理软件在主机服务器上实现,或者利用阵列控制器的固件(Firmware)在磁盘阵列上实现;再或者是利用专用的虚拟化引擎在存储网络上实现。具体使用哪种方法来做,应根据实际需求来决定。

3.1主机或服务器级虚拟存储

基于主机或服务器的虚拟存储化实现通常称为逻辑卷管理(Logicalvalumemanager)。磁盘上的物理块或逻辑单元号(LUN)被映射成逻辑卷号。逻辑卷管理软件把多个不同的磁盘阵列映射成一个虚拟的逻辑块空间。通过在服务器上安装虚拟存储管理软件,实现各物理存储体集成映射的。

基于主机或服务器的虚拟化存储实现容易,可在不需要硬件支持的条件下实现形式多样的存储管理,对改善存储系统的可管理性,提高存储的安全性和可靠性很有益处。缺点是兼容性不好,扩展性差,调度工作会影响服务器的性能。

3.2存储设备级的虚拟存储

基于存储设备的虚拟存储针对异构SAN构架,更使用于以存储为核心的环境,它独立于主机,存储设备可以连接多台主机,但存储设备本身不能是异构的,此时虚拟过程是在阵列控制器上完成将一个阵列上的存储容量划分为多个存储空间(LUN,logicalUnitNumber),供不同的主机系统访问。智能的阵列控制器提供数据块级的整合,同时还提供一些附加的功能,例如:LUNMaking缓存,即时快照、数据复制等。配合使用不同的存储系统,基于存储设备的虚拟化模式可以实现性能的优化。但由于存储设备在各个供应商之间互操作性和兼容性较差,如果没有第三方的虚拟软件,基于存储设备的虚拟化经通常能提供一种不完全的虚拟存储化解决方案。

3.3网络级的虚拟存储

基于网络的虚拟化是目前SAN虚拟化的主流技术,通过在存储区域网这一级采用智能化的路由器,交换机或者是增加一个元数据服务器等来实现虚拟化的工作,它通过提供一种中央虚拟化方式将网络中的存储资源集中起来管理,从而降低了TCO,提供了一个“开放的”虚拟实施环境,最有可能支持任何的服务器、操作系统、应用和存储设备。从技术上讲,基于网络的存储虚拟化又分为带内(In-Band)和带外(Out-Band)两种。这两种方式的主要区别在于存储网络中数据I/O与控制信息是否使用同一通道。

3.3.1带内虚拟化的实现模型

带内虚拟化,也称为对称(symmetric)虚拟化。是指虚拟化的操作在服务器和存储设备之间交换数据的通道中执行,存储数据和控制信号使用同一数据通道。因为所有的数据访问都会通过这个引擎,它就可以实现很高的安全性。就像一个存储系统的防火墙,只有允许的访问才能通过,否则就会被拒绝。

带内虚拟化的优点是:可以整合多种存储设备,便于集中式管理,因此具有极高的安全性。但容易造成网络拥塞,降低了性能,同时容易产生瓶颈和单点实效,故在应用中这种结构往往是冗余配置。

目前市场上使用该技术的产品主要有IBM的TotaStorageSVC,HP的VA、EVA系列,HDS的TagmaStore,NetApp的V-Series及H3C的IV5000。

.3.2带外(outofband)虚拟化

带外虚拟化,又称为非对称(asymmetric)虚拟化,是指虚拟化功能在位于存储数据通道之外的一个设备上实现。数据和命令信息使用不同的通道(如图2所示),应用服务器的I/O命令通过专用的命令通道传至专用的元数据服务器或控制器,获得元数据和数据视图后,再直接通过数据通道得到所需要的数据。由于数据在专用的通道上传输,因此提高了性能,且避免了单点故障和瓶颈,但是在一定程度上增加了用户投资,数据的安全性难以控制,实施难度大于带内模式。

4存储虚拟化网络的关键技术

存储虚拟化的核心工作是物理存储设备到单一逻辑资源池的映射,通过虚拟化技术,为用户和应用程序提供虚拟化磁盘或虚拟卷,而且用户可以根据需求对它进行任意分割,并分配给特定的主机或应用程序,而为用户隐藏或屏蔽了具体物理设备的各种物理特性。实现虚拟存储化关键技术如下:

1)共享冲突与数据一致性

存储虚拟化的一个主要功能是实现存储数据的共享,普通的文件系统只允许对数据进行独占式访问,但是商业应用需要在操作系统和“数据仓库”之间共享数据。数据的不同拷贝应能在不同服务器操作系统所带来的存储共享和并行存储时的I/O访问冲突等。这就需要良好的锁机制算法、多种级别的锁机制以及Cache一致性等技术,来保证数据之间的连贯性和一致性。

2)异构适应性

虚拟存储的另一个主要目标是实现真正意义上的设备互操作性,简化在在由不同主机操作系统和不同设备类型组成的异构存储环境中的系统管理和用户操作,实现真正意义上的存储设备的透明性。

3)系统存储空间的动态扩展

开放系统的计算机模型经历了一个从单一的、大而全的结构过渡到“n-层、分布式的或并行”的结构。每一层都可以独立扩展,保证最优的资源利用率。SAN虚拟化允许按照需要扩充存储资源,而对逻辑层和应用层透明。因此,系统管理员可以以兆字节为单位来扩充存储容量,而不破坏重要的应用。按需存储将是未来实现数据中心的主要驱动力。

4)数据存储与容错策略

由于应用和数据服务是透明的,必须避免越权访问和恶意攻击,数据安全性由整个系统的管理软件来保证,因此保证数据安全性是存储虚拟化技术的难点之一。虚拟存储也必须以较小的容错开销建立容错功能,克服系统单点故障,避免不可恢复的数据损失,同时也必须拥有数据容错备份系统,以保证因不可抗力而丢失的数据拥有的可靠备份。

5总结

海量数据需求在各个应用场合不断增加,由于存储虚拟化技术能够提供系统的高可用性、高可靠性并易于维护,它正在成为存储领域的核心技术。由于存储应用场合的复杂性和不同用户的存储需求的多样化,存储虚拟化技术必须加以丰富和完善(如数据的备份、复制、恢复、远程容灾、快照和多重镜像支持等),以提供良好的个性化服务。

另一方面,从目前来讲,存储虚拟化依然缺乏高度的标准化,不同的虚拟产品间的兼容性还有待进一步提高,必须尽快制定业界公认的存储虚拟化技术标准,以解决操作平台、网络和存储设备等产商及产品之间的互操作性问题,这样才能推动存储虚拟化技术的发展,当然在虚拟存储技术体现其

优越性的同时我们也不能够忽视虚拟技术的一些潜在问题,这样会更有利于虚拟技术向着智能化的方向发展。

参考文献

[1]QichaoXia,LianXingJia.ReserchofIntegrationMilitaryStorageResourcesBasedonStorageVirtualization.IEEEComputerSociety.2006

[2]CharlesMilligan,SidSelkirk.OnlineStorageVirtualization:ThekeytomanagerthedataexplosionIEEEComputerSociety.2006

[3]赵文辉,徐俊,周加林,李晨。网络存储技术[M]。清华大学出版社,2005年

[4]刘朝斌,谢长生,张琨.存储网络虚拟化关键技术的研究与实现.计算机科学2004年(31)

存储范文篇3

1SAN网络的文件存储技术设计存在的不足

1.1文件读取速度设计缺乏合理性。文件读取速度很大程度上影响着SAN技术的应用质量,也决定了文件存储的最终质量。但是,从当前SAN网络的应用情况来看,文件存储技术所受到的积极影响较为有限,难以充分保障新时期网络技术资源之中的有价值信息得到精准全面的收集应用,也使得SAN网络很难在文件存储管理的过程中,更好的显现出自身的价值。一些文件存储技术的制定对于SAN的推广经验考察存在不足,尤其对于SAN的应用广泛性重视程度较差,这就使得文件存储技术的构建缺乏对SAN的精准操作,很难在网络平台之上得到充分有效的应用处置。一些SAN的应用对于工业需求的特征掌握和控制存在不足,尤其对于管理信息结构的质量研究存在不足,这就使得SAN的应用无法在广泛性建设方面取得足够的进展,难以为文件存储技术的特征分析提供支持,最终导致文件存储技术很难全面的得到SAN技术应用人员的充分支持。部分文件存储速度的设计虽然对SAN网络进行了使用,但对磁盘的客观情况考察存在不足,并没有将磁盘读取速度作为总线速度设置的参考性因素,导致文件读取速度的管理工作难以从磁盘状况设置的角度充分实现自身的应用价值,使得文献读取速度的调控很难为磁盘阵列测试提供帮助,难以在SAN网络的帮助之下实现存储网络传输速度的优化处置。1.2多线程文件设计存在不足。多线程文件的设置工作是保证SAN网络的技术价值得到充分显现的关键,也是提升文件存储技术应用稳定性的基础。但是,从当前的多线程文件设置情况来看,OverlappedI/O技术的应用依然保持在原有的模式,缺乏对SAN技术的完整应用,这就使得多线程文件在与存储系统相衔接的过程中,依然只能使用原有的igabit/s光纤结构进行程序的开销处置,缺乏对操作系统的完整调控能力,最终造成网络协议的开销无法与SAN技术实现有机结合,很难在磁盘读取技术应用方面取得进展。还有一些多线程文件的设计工作对于时间开销的关注程度不足,缺乏对磁盘读写需求的考察,导致多线程文件的设计工作难以在文件读取方法控制方面取得进展,无法为新型技术资源的创新应用提供足够有利的技术性支持,最终造成多线程文件的设计工作很难充分完整的显现出自身的价值,难以为多线程文件综合性管理效率的优化提供帮助。一些多线程文件设计工作对于OverlappedI/O(重叠I/O)技术的使用程序考察存在不足,缺乏对文件操作效率这一关键性因素的考察,导致多线程文件的技术设计很难在操作系统管理方面取得进展,难以有效的保证多线程文件的设置工作可以持久的发挥对文件处理的作用。1.3存储系统软件结构设计存在不足。软件结构的设计很大程度上影响着存储资源的综合性应用水平,但是,一些存储系统中进行软件设计方案构建的过程中,对于SAN网络的技术特征分析存在不足,缺乏对主机装置与数据服务器装置特征的有效分析,这就使得数据服务器的使用难以在磁盘阵列控制方面取得进展,无法为计算机装置充分实现自身技术资源的有效配置提供帮助。还有一些软件结构的设计工作对于SAN稳健性的元数据总结存在不足,尤其在进行集群文件系统建设的过程中,难以结合文件整合应用的实际需要,对软件结构进行合理的优化配置,最终导致存储系统的软件结构控制策略,无法在元数据的有效应用之下得到改良。

2基于SAN网络的文件存储技术优化设计策略

存储范文篇4

论文摘要本文研究了用10%KDZ浸泡2—5分或10%KDZ+2%CaCl2+50mg/kgGA3浸泡30分,结合微孔保鲜膜包装,灵武长枣室温放置贮藏效果。结果表明采用10%KDZ+2%CaCl2+50mg/kgGA3处理,可降低果实的失重率,减少维生素c的损失,抑制酒化作用和对糖分的呼吸消耗,减少贮藏过程中的损失;贮藏到20天,好果率仍能维持在83%以上。

灵武长枣是宁夏具有地方特色的优良鲜食枣品种,一般在9月中下旬至10月上旬成熟,果实外观艳丽,营养丰富,甜酸适口,肉质酥脆,风味独特,深受消费者青睐。灵武长枣采摘期短,上市比较集中,鲜枣采摘后在自然条件下极易失水、酒化,果肉很快变得疏松,5、6天后果肉变褐软化,甚至霉烂,失去商品价值,成为灵武长枣产业发展的瓶颈。有关灵武长枣贮藏保鲜方面的研究较少,本试验以灵武长枣为试材,研究了室温条件下不同保鲜剂对长枣采后生理和贮藏效果的影响,以探索长枣适宜的贮藏技术。

1材料与方法

1.1材料与方法

供试灵武长枣2006年10月5日采自宁夏灵武,手工采摘。8日运抵天津科技大学食品加工与保鲜研究室,剔出烂果和病虫果,挑取果实表面绿色面积占总表面积1/3以内的长枣进行处理。试验设3个处理:①用10%KDZ浸泡2~5分(KDZ处理);②10%KDZ+2%CaCl2+50mg/kgGA3浸泡30分(复合保鲜剂处理);③对照(CK)用流水冲洗..洗去表面泥沙等污物。各处理长枣晾干后装入微孔保鲜袋中,折口,室温下放置。每处理500g,每个处理5次重复。KDZ是由天津科技大学研制的以壳聚糖、尼伯金丙酯等为主要成分的枣专用保鲜剂。试验中复合保鲜剂添加的其他成分是在之前所做的单因素处理试验的基础上筛选出来的有较好效果的生理调节剂,与KDZ复配,以期提高保鲜效果。

1.2测定指标

可滴定酸用酸碱滴定法测定,采用苹果酸当量值;维生素c用2,6-二氯靛酚钠法测定;乙醇用重铬酸钾氧化法测定;还原糖用菲林试剂法测定。

失重率:采用称重法。

失重率(%):[(贮藏前的重虽一贮藏后的重量)/贮藏前的重量]×100

好果率:100%完好的硬果,采用重量法计算。

好果率(%)=[(贮藏前的重量-贮藏后坏果的重量)/贮藏前的重量]×100以上指标4天测定1次,从每个处理中随机取样,各指标均测定3次取平均值。

2结果与分析

2.1保鲜剂对灵武长枣可滴定酸含量变化的影响

刚采收的灵武长枣含酸量为O.42%。3个处理灵武长枣果实含酸量在贮藏过程中均呈下降的趋势,前4天,KDZ处理和复合保鲜剂处理的枣果含酸量下降比较迅速,其后2个保鲜剂处理的枣果含酸量下降缓慢,对照果实含酸量一直在明显下降。贮藏到20天后,复合保鲜剂处理的枣果含酸量在0.23%左右,KDZ液体保鲜剂处理的枣果含酸量略高于复合保鲜剂处理,对照枣果的含酸量则降到0.19%。

2.2保鲜剂对灵武长枣维生素C含量变化的影响

刚采收的灵武长枣维生素c含量为3.9mg/g。由图2可以看出,3个处理的枣果维生素c含量贮藏前期均下降迅速,后期下降缓慢,但对照在第16天后又迅速下降。贮藏20天时,复合保鲜剂处理枣果维生素c含量为3.09mg/g,KDZ液体保鲜剂处理的枣果维生素c含量略低于复合保鲜剂处理,对照的枣维生素c含量下降到2mg/g左右。

2.3保鲜剂对灵武长枣乙醇含量变化的影响

随着贮藏时间的延长,3个处理的枣果乙醇含量均急剧升高。贮藏20天后,复合保鲜剂处理的枣果乙醇含量为0.067%,比对照低30%左右;KDZ保鲜剂处理的枣果乙醇含量为0.08%,与对照差异不大;对照枣果乙醇含量高达0.09%。

2.4保鲜剂对灵武长枣还原糖含量变化的影响

在贮藏过程中,3个处理的枣果还原糖含量先期都有所升高,后期复合保鲜剂处理还原糖含量仍在升高,KDZ保鲜剂处理有所下降,对照下降至接近刚采收时。

2.5复合保鲜剂对灵武长枣贮藏好果率和失重率的影响

采后12天内不同处理的枣果,其失重率差异不明显,均在1%以内;贮藏到20天,对照的失重率急剧增加,接近15%,而复合保鲜剂处理的枣果,其失重率仅为1.9%左右,远远低于对照处理,采用KDZ保鲜剂处理的枣果失重率为2.5%,稍高于复合保鲜剂处理的枣果。复合保鲜剂处理对长枣果实的软化有明显的抑制作用,对照果实第16天软化50%,20天时已全部变软,而采用复合保鲜剂处理的果实20天时好果率仍能保持83%以上,采用KDZ保鲜剂处理的枣果好果率为69.5%。

存储范文篇5

关键字存储区域网络,下一代网络,软交换

1前言

目前基于以太网和广域传输服务的IP网络主导着企业IT策略。IP是一种被广泛使用、价格可以负担、可以扩展到数量庞大的设备及远距离的技术。尽管大部分企业数据可以通过一般IP网络传输,但是块级的数据存储是例外。高性能的存储数据访问一般是通过直接连接存储DAS(DirectAttachedStorage),或通过专用光纤通道存储区域网络SAN(StorageAreaNetwork)进行。网络应用的兴起,同时也带来更多的数据存储和传输的要求,存储和网络逐步紧密的结合,给人们带来了真正的网络存储。而作为网络存储的一种实现方式——存储区域网络,也逐渐被人们认识并应用于各个领域。

DAS是指将存储设备通过SCSI接口或光纤通道直接连接到服务器上,即每一台服务器都带有自己的磁盘、磁带机或是磁带库。这种方式的弊端在于:异构平台下存储资源无法均衡共享,存储设备利用率低、投资形成不可避免的浪费,且每台服务器是一个孤立的存储者,服务器出现异常会使数据不可获得,不能提供真正意义上的网络化存储。

SAN是通过光纤通道协议将若干台存储服务器、存储阵列组成一个单独的数据网络,提供企业级的块级数据存储服务。SAN是将一个或多个网络存储设备(如:磁盘阵列RAID)和服务器连接起来的专用高速网络,它提供了一个能存储大量数据且具有高可靠性和高升级能力的数据存储系统,它为那些需要健壮且易于升级的存储系统的网络提供了一种理想的解决方案。SAN存储方式将成为未来信息存储发展的主流。

融合是下一代网络的重要特征。传统电信的业务部是由运营商和少数的电信设备制造商开发部署的,尽管智能网实现了业务和呼叫控制的分离,但是由于复杂的电信网络接口技术的限制,垄断式的业务提供横式仍未能得到改变。基于软交换的固网NGN技术.提出了分解网关功能的思路,即将VOIP网关分解为媒体网关(MGW)、信令网关(SGW)、媒体网关控制器(MGC)等几部分。人们期待新的网络直能提供融合各类网络能力的综合业务,特别提供用户所需的多种多样的个性化多媒体业务。

显然,为了同时满足企业信息及存储数据传输的需要,如何在下一代网络框架下合理实现网络存储并提供高效的存储业务,其解决方案的好坏直接影响着企业的生存和发展。

2存储网络的主流技术

2.1FCSAN

2.1.1.光纤通道FC

光纤通道存储区域网络FCSAN,是近几年发展起来的存储区域网的第一种存在形式。当前绝大多数SAN系统的实施都是建立在光纤通道(FibreChannel)技术基础上,这种技术为存储领域的应用提供了高性能的块数据访问方案。

光纤通道技术是美国国家标准学会ANSI委托的几个委员会根据OSI标准共同开发的一

组集成标准的通用名称,是为网络和通道I/0接口定义和建立的一个开放标准。它结合了通道和网络的优点,是把设备连接到网络结构上的一种高速通道,主要用来连接工作站、大型机、巨型机和存储设备。此协议可实现大容量、高速度信息传输。它独立于介质,支持同时传输多种不同协议,适用于服务器、海量存储子网络、外设之间通过集线器、交换机和点对点连接进行双向、串行数据通讯:正如在以太网中IP、NetBIOS和SNA等协议均可在单一以太网适配器上同时使用,是因为所有这些协议在以太网中都被得到映射一样,各种网络层的通讯协议也可以通过协议映射在光纤通道上得以实现。

FC是一种基于标准的体系结构,它提供了吉比特的速度、长距离的传输,并且支持网络扩展到数百万台设备。光纤通道通过创建一个交换机网络基础设施,克服了一些存在于SCSI中的扩展问题,如:光纤通道延伸了SCSI的距离(25米极限),可达到10公里,并且克服了SCSI对设备数量的限制。

FC是一种基于标准的网络结构,它定义了一个通过网络移动数据的多层结构。光纤通道的分层模型与网络模型OSI(OpenSystemsInterconnect)类似,分为5层:FC一0、FC一1、FC—2、FC一3和FC—4。

FC一0定义了物理接口。它主要是针对物理介质的,规定了收发的信号和传输的介质,它可以是光纤也可以是铜缆;

FC-1为吉比特传输提供了底层的链路控制和数据编码;

FC一2则规定了具体的传输机制,包括帧格式、节点间的信息交换、拓扑结构、和提供的类服务;

FC一3规定了同一节点上多端口的传输类型,提供高级特性的公共服务;

FC-4则是从应用出发,把各种主要通道、外设接口和网络的上层协议如高性能并行接口HIPPI、IPI(IntelligentPeripheral’SInterface)、SCSl(SmallComputerSystemInterface)命令集、IP(IntemetProtoc01)、IEEE802.2和ATM(AsynchronousTransferMode)等映射到光纤通道上。

与OSI模型相比较:FC一0和FC一1可看成OSI模型中的物理层;FC一2和数据链路层的MAC(MediaAccessContr01)层有很多类似之处;FC一3还不能算是完整的一层;FC一4可看作是相当于OSI模型的传输层。

2.1.2.FCSAN实现方案

实现FCSAN的硬件基础设施是光纤通道,用光纤通道构筑的FCSAN,由三部分构成:存储和备份设备,包括磁带库、磁盘阵列和光盘库等;光纤通道网络连接部件,包括主机总线适配卡(HBA:HostBusAdapter)和驱动程序、光缆(线)、集线器、交换机、光纤通道与SCSI间的桥接器(Bridge)等;应用和管理软件,包括备份软件、存储资源管理软件、设备管理软件。在FCSAN解决方案中,除存储设备外,其关键部件就是网络连接部件——光纤交换机。

图1是典型的FCSAN组成结构。可以看出,服务器通过光纤通道,和存储设备连接,数据通过光纤通道存储到存储设备上,而存储管理都集中在一个相对独立的局域网内。SAN的最大特点就是基于光纤通道技术(FibreChannel)的电缆,交换机和集线器,将很多的存储设备连接起来,再与有很多不同的服务器组成的网络相连接,以多点对多点的方式进行管理专用的高速数据存储网。它将多个独立的存储系统与多个服务器互联。其最重要的优点是允许多个用户同时接入数据存储网上的不同存储设备,任何服务器可以接人数据存储网上的任意存储设备,从而大大提高了存储系统的可接入性和可用性。实质上,它是一个与用户/服务器分离的,包括有多个独立的存储子系统的专用高速数据存储网。正是由于在结构上,SAN是一个相对于通信网络完全独立的网络,因此各种数据业务的处理,数据业务的备份和恢复等都是在自己的网络上进行的,这极大地降低了通信网络的负担。SAN还可以让存储设备与存储设备直接相连,并基于新的集群技术,和直接与网络连接的存储设备技术,使多台服务器与多台磁带库磁盘阵列相集成成为可能。根据图1的结构可以组成上百个节点的大型FCFabric(在同构型交换网络拓扑中的一个或者多个交换机),其中配置了互联的交换机主要用于提供高带宽和可用性。服务器和存储设备汇聚在Fabric边缘,FC交换机集中在Fabric的中心处,互连构成了Fabric的骨干部分。服务器通常连在以太网上,作为客户端和存储区域网络通信的,完成相应的任务和处理。FC交换机是存储区域网络的核心设备,管理路由通信,进行数据交换,同时也是存储区域网络中最智能的设备。FCSAN拥有高速,安全等特性,主要是由于SAN以FC技术为核心,并将存储应用和FC技术的不同层次进行了合理的对应,从而使实际问题得到最优化解决。

2.2IPSAN

FCSAN虽然性能优越,可扩展性好,但也存在某些不足之处。FCSAN的传输距离通常不超过50公里。因此,FCSAN还不能有效地整合更多的主机与存储的需求。虽然光纤通道(FibreChannel)技术有统一的标准,但各家厂商却有不同的解释。时至今日,互操作性仍是FCSAN实施过程中存在的主要问题,在管理上更是如此。随着IT技术逐渐发展,所有IT产品的价格也在下降,但是基于FCSAN的存储设备价格仍居高不下。一个企业如果考虑使用FCSAN,就不得不购买HBA、光纤交换机、光纤磁盘阵列、管理软件……这并不是普通中小企业能够承受得起的。且受限于现有的光纤传输方式,其价格昂贵。

因此,基于普通lP协议和以太网的SAN应运而生,这就是IP存储,它将SCSI协议映射到TCP/IP协议上,使得SCSI的命令、数据和状态可以在传统的IP网上传输。IP存储系统在整个IP网上创建了一个共享存储环境,很好地实现了数据共享和远程访问;由于采用的是SCSI、以太网、TCP/IP等现有技术和设施,造价低,便于构建和维护。IP存储互操作性好,且能跨越FCSAN的距离限制,把共享存储系统扩展到LAN、WAN甚至Internet上.

目前,IP存储技术发展有2个技术方向:存储隧道(Storagetuneling)和本地IP存储(NativeIP—basedstorage)。存储隧道的基本思想是将IP协议作为连接异地2个光纤SAN的隧道,用来解决SAN环境的互联问题。本地IP存储的基本思想是利用现有的存储协议,将SCSI和FibreChannel直接集成在IP协议中,实现存储和网络的无缝融合。目前IETF已开发出3种IP存储协议:基于TCP/IP的光纤通道(FCIP)、互联网FibreChannel协议(iFCP)和互联网小型计算机系统接口(iSCSI)。其中FCIP和iFCP协议是实现存储隧道技术的两种方式,FCIP协议是在两个SAN之间通过以太网建立隧道,构成一个统一的SAN环境,与之相对应的iFCP是在FibreChannel与IP之间建立网关到网关的连接,使FibreChannel帧使用IP路由到正确的目的。由FCIP和iFCP支持的存储隧道技术提供的是SAN与SAN之间点到点的连接,从功能上讲是一种类似于光纤的专用连接技术。

存储隧道技术较好地解决了SAN之间的异地连接,但其实现成本较高,缺乏通用性,较大的延迟对系统的性能也会造成一定的影响。与存储隧道技术相比,本地IP存储技术具有显著的优势。它利用现有的存储协议,以IP协议替代FibreChannel协议,构建结构上与LAN隔离,技术上与LAN一致的新型SAN存储——IPSAN,将存储网络与传统的LAN物理上整合成一个网络。本地IP存储技术进一步地模糊了本地存储和远程存储的界限,在IPSAN环境中,只要主机和存储系统能提供标准接口,就可以实现在任何位置的主机访问任何位置的数据,提高了存储系统使用的灵活性。实现IPSAN最合适的协议是iSCSI协议。

iSCSI是由IETF开发的一种基于存储网络的Internet协议,它继承了SCSI协议的稳定性和可靠性,能够在TCP/IP网络上传送标准的SCSI命令,使主机系统和不同的外部设备块数据进行I/O操作,并且可以实现远程存储管理。可以说,iSCSI是集成了SCSI协议和TCP/IP协议的新的协议。iSCSl只是将数据的存储变得更加灵活,因为它是在SCSI基础上扩展了网络功能,也就是可以让SCSI命令通过网络传送到远程的SCSI设备上,而SCSI协议只能访问本地的SCSI设备。从存储系统管理层次上iSCSISAN可分为三大组成部分:iSCSI磁盘阵列等iSCSI存储设备、IP网(包括IP交换机或IP路由器)、Iscsi服务器及存储管理软件。每个iSCSI服务器和iSCSI存储没备都支持以太网接口和iSCSI协议,从而可以作为一个网络实体直接连接IP交换机或IP路由器。如图2所示,我们可以看出用FibreChannel搭建的FCSAN与利用iSCSI搭建的IPSAN的区别。在IPSAN中,千兆以太网交换机代替了价格昂贵且只有FCSAN专用的光纤交换机,客户端的启动器Initiator或iSCSI卡代替了价格较高的主机HBA卡,具有iSCSI接口的高性价比的存储设备代替了光纤磁盘阵列。

IPSAN与FCSAN就像一对双胞胎,两者拥有基本相同的特性。从目前情况看,FCSAN是高性能的保证,而IPSAN在经济性方面优势更明显。

3.基于软交换的下一代存储网络分析

3.1软交换技术概述

软交换又称为呼叫、呼叫服务器或媒体网关控制器。软交换技术的基本概念是把呼叫控制功能从传输层(媒体网关)中分离出来。通过服务器上的软件实现基本呼叫控制功能,如呼叫选路、信令互通、管理控制(建立会话、拆除会话)等。由于把呼叫控制和呼叫传输分离开来,为控制、交换和软件可编程功能建立了分离的平面,使业务提供者可以方便地将传输业务与控制协议结合起来,实现基本业务和补充业务的转移。软交换技术将使语音网与数据网完美融合,集语音、数据、视频等所有形式的信息为一体,形成综合性网络,促进各项增值业务的快速发展,成为下一代网络的技术核心。

从广义上说,软交换指一种分层的体系结构,利用该体系结构可以建立下一代网络框架,其功能涵盖下一代网络NGN的接入层、传输层、控制层和业务层,这要由软交换设备、信令网关SG、媒体网关MG、应用服务器AS和综合接入设备IAD等组成。但从狭义上讲,软交换单指软交换设备,它是下一代网络的核心设备之一,处于NGN分层结构的控制层,负责提供业务呼叫控制和连接控制功能。

软交换作为一个开放的实体,与外部的接口必须采用开放的协议:

媒体网关与软交换间的接口一一用于软交换对媒体网关的承载控制、资源控制及管理。此接口可使用媒体网关控制协议或H.248协议。

信令网关与软交换间的接口一一用于传递软交换和信令网关间的信令信息,此接口可使用信令控制传输协议或其它类似协议。

软交换间的接口一一实现不同软交换间的交互。此接口可以使用SIP—T或BICC协议。

软交换与应用/业务层之间的接口一一提供访问各种数据库、三方应用平台、各种功能服务器等的接口,实现对各种增值业务,管理业务和三方应用的支持。

软交换与策略服务器间的接口一一实现对网络设备的工作进行动态干预。

软交换与网关中心间的接口一一实现网络管理,此接口可使用SNMP协议。

软交换与智能网的服务控制点SCP(servicecontrolpoint)之间的接口一一实现对现有智能网业务的支持,此接口可使用INAP协议。

3.2.基于软交换的存储网络结构分析

基于软交换的下一代存储网络框架,具体如图3所示:

位于控制层中的软交换设备,通过传输服务层中的核心传输网,与处于媒体接入层中的

媒体网关交互通信,接收正在处理呼叫的相关信息,根据业务应用层已定义好的相关设定,

指示媒体网关完成呼叫,可以说这是软交换网络体系结构的基本处理流程。

作为媒体接入层的基本处理单元,媒体网关负责管理PsIN与分组数据网络之间的互通

以及媒体、信令的相互转换,包括协议分析、话音编解码、回声消除、数字检测和传真转发

等G信令网关则提供No.7信令网络(SS7链路)和分组数据网络之间的转换,其中包括协议

ISUP、TCAP等的转换。而无线网关则负责移动通信网到分组数据网络的交换。软交换设备

通过提供基本的呼叫控制和信令处理功能,对网络中的传输和交换资源进行分配和管理,在

这些网关之间建立起呼叫或是己定义的复杂的处理,同时产生这次处理的详细记录。

应用服务器和软交换设备之间的接口采用IETF制定的SIP,软交换设备可以通过它将呼

叫转至应用服务器进行增值业务的处理,同时应用服务器也可通过该接口将呼叫重新转移到

软交换设备。API驻留于应用服务器之中,为软交换的业务和交换功能提供接入和生成的手

段,它们为分组话音业务提供者提供了一个可以迅速高效地开发各种不同业务的环境。由于

这些API具有开放和灵活的特性,因此它们可以使得在生成、管理业务时不必对软交换设备

的功能进行更新或升级。进行连接和通信,以便齐NGN上更加灵活地提供业务。具体而言,软交换系统是一个基于软件的分布式交换和控制平台,将呼叫控制功能从媒体网关中分离出来,利用分组网代替电路交换矩阵,开放业务、控制、接入和交换间的协议,从而真正实现开放的运营环境。

4结束语

随着数据业务特别是IP业务的日益增长,数据存储和下一代网络架构日益为人们所关注。下一代网络将具有提供话音、数据、视频和多媒体等各种业务的综合性质网络体系的结构,将传统的交换机功能模块分离为独立的网络部件。为了同时满足企业信息及存储数据传输的需要,如何在下一代网络框架下合理实现网络存储并提供高效的存储业务,其解决方案的好坏直接影响着企业的生存和发展。

参考文献

[1].SatranJ,ISCSI[s]./satran/ips/draft-ietf-ips-iscsi-07.txt

[2].邓劲生等译.《存储区域网设计》[M].北京:电子工业出版社,2005.1

[3].舒继武.存储区域网络精华[M].电子工业出版社,2004

存储范文篇6

关键词:备份;存储;分布式;P2P;技术

1存储与备份技术的高效性

1.1高性能多源下载过程

(1)服务器根据相关信息返回存储需要下载文件的Slave的具体信息;(2)根据文件大小和Slave的负载状态,选择合适的Slave建立socket连接对文件进行分块下载;(3)下载完成后把各个文件块合并成为原始文件。

1.2静态下载

在静态下载中,不考虑备份文件的大小,服务器的负荷量,采取统一的模型进行下载。算法如下:(1)得到备份文件所在服务器的个数n,以及每个服务器的IP地址和端口号;(2)得到文件的总大小size,按照文件分割算法,把文件分割为n块;(3)与每个服务器建立连接,从每个服务器上下载一块文件;(4)下载完成后,把所有文件块合并成一个完整的文件,存储在备份介质上;(5)保存备份文件的相关元数据信息;(6)文件下载、备份完成。

1.3动态下载

在动态下载模型中,要综合考虑各方面因素,动态决定文件是否分块进行多源下载,以及文件块的大小,提高系统资源利用率,进而提高备份效率。对于没有冗余的文件,只能从一个节点上下载。对于较小的文件,使用单线程下载;对于较大的文件,可以采用多线程下载。对于有多个冗余的文件,可以动态选取从负荷量较低的节点进行下载。伪算法表示如下:

首先定义如下变量:文件大小阀值Tl,当文件大小大于Tl时采用多源下载;节点标准负荷T2,若节点负荷大于T2,则节点处于重负荷状态;文件大小size文件冗余数n。

算法表示如下:

if(文件没有冗余)

{

无须分块下载,可以采用多线程从存储文件的节点上下载文件;

}

else{

if(文件大小size<阀值T1)

{

无须多源下载,从存储文件的节点中选取负荷最小的节点,下载文件;

}

elsel

得到存储文件的n个节点的信息;

从n个节点上选择负荷小于阀值T2的节点,节点数目为m;

利用文件分割算法把文件分割为m块;

与选中的m个节点建立连接,从每个节点上下载一个文件块;

下载完成后,把m个文件块合并成为完整的文件;

把文件存储在备份介质;

}

}

2存储与备份技术的一致性

2.1锁和快照技术

锁就是当进行数据备份时,对需要备份的数据加锁,此时禁止对数据进行修改。由于备份时禁止对数据的修改,锁技术对数据的可用性会造成一定的影响,会影响到系统的效率。快照就是在相当短的时间内生成原存储系统的瞬时映像,该映像生成之后,备份就可以根据该映像来进行,而不用担心数据的不一致性。快照技术的实现有两种方式:更新复制方式和Split-mirror方式。更新复制技术就是当进行快照时,并不立刻复制数据,只有当数据发生变化时才进行复制。Split-mirror是使用和主存储系统一样的快照存储系统,数据同时保存在主存储系统和快照系统,此时快照系统就可作为备份数据。

2.2在线备份

在分布式文件访问平台中,存在着海量的文件,文件的信息较多,若把文件的信息逐个复制则要浪费大量的时间、空间,对系统的可访问性造成影响。WAFL文件系统使用了更新复制技术。当创建系统快照时,并不立刻复制所有文件信息,而是创建新的快照根节点,它与原文件系统根节点有相同的信息,文件系统中根节点的子节点也为快照根节点的子节点。此时以快照根节点为根节点生成了一棵快照树,它和原文件系统树除了根节点以外,其余部分相同。当文件信息需要修改时,创建新的节点,把文件信息赋给此节点,并把节点作为快照节点插入快照树中,同时修改原节点的信息,具体分为以下情况:

(1)修改文件信息:当对文件的基本信息进行修改时,如更改文件名称等,此种情况下比较简单,伪算法如下:if修改文件)

{

创建新的节点作为快照节点;

把原节点的信息复制到快照节点;

把快照树中指向原节点的指针指向快照节点;

快照节点儿子节点的指针指向原节点的儿子节点;

修改原节点的信息;

}

修改文件信息具体过程如图3:

(2)移动文件:当把文件或者目录从一个目录移动到另外一个目录下时,具体伪算法如下:

if移动文件)

{

创建新的快照节点;

把原节点的信息复制到快照节点;

复制原父目录的信息,添加到快照树中;

把快照树中指向原节点的指针指向快照节点;

快照节点儿子节点的指针指向原节点的儿子节点;

复制新父目录的信息,修改子节点,添加到快照树中;

修改原节点的信息,把原节点移动到新的目录下;

}

移动文件过程如图4所示:

(3)新建文件:当新建文件时,具体伪算法如下:

if(新建文件)

{

创建新的节点,并给节点赋予相应的文件信息;

在文件系统树中找到节点的父目录;

if(若父目录己经创建了副本),

{

把创建的节点插在文件系统树中父目录节点下;

}

else{

父目录创建副本;

副本赋予相应的信息;

父目录副本儿子节点即为父目录的儿子节点;

快照树中指向原来父目录的指针指向副本;

新建节点插在文件系统树中父目录节点下;

}

}

新建文件过程如图5所示:

2.3备份的实现

在创建好快照树之后,就可以进行在线备份。快照树保存的信息就是开始备份瞬间所有文件的信息,进行在线备份时,首先从快照树的根节点开始,逐个访问节点,按顺序对快照树进行遍历、备份,保证了数据的一致性,并且可以在备份的同时允许对数据进行修改,不影响用户的访问。

3存储与备份的可靠性

在分布式系统中存储着海量的数据,数据量大,备份的时间较长,在备份的过程中可能会出现错误情况或者发生意外的中断。因此备份过程中需要随时记录备份的进度,这样在备份发生错误或者异常时,下次备份能够在上次备份的出错点继续进行,实行断点备份,而不用重新开始备份。断点备份过程中,使用日志表来记录备份过程,把每次备份的信息写入日志表。日志表如表1:

3.1伪算法

if(日志表为空)

{

无须查找断点位置,直接开始备份,备份时把每一个文件的备份信息添加

到日志表;

}

else{

while(日志表尚未查找完毕)

{

对于表中每一项,查找此项对应文件在树中的具体位置;

if(此文件尚未备份完成)

记录此文件,即为断点位置;

}

当日志表查找完成后,即可得到未备份完成的文件;

从断点位置开始继续备份,并把文件备份信息添加到日志表;

}

本次备份完成后把日志表清空

名称定义

ID文件独一无二的ID

TYPE备份类型,可以是完全备份、增量备份、差量备份

STARY_TIME开始备份时间

FINISHED是否完成

ISFOLDER是否为文件夹

PARENTID文件父节点ID

3.2算法复杂度

若日志表中的记录个数为K,文件总数为N。则对于每一个记录项,要查找其在文件树中的位置,当前一个记录项查找到时,由于遍历的顺序性,后一个记录项可以从前一个的位置继续向后查找,这样,可以保证K个记录项查找次数为K,也即为O(n)。当备份发生错误或者中断时,通过此算法,能够在相当少的时间内,找到断点位置,下一次备份时可以直接从断点位置继续进行,实现断点备份,保证了备份的可靠性。

参考文献

[1]牛云,徐庆.数据备份与灾难恢复[M].北京:机械工业出版社,2007.

[2]张联峰,刘乃安,张玉清.P2P技术[J].计算机工程与应用,2007,(12).

[3]刘天时,赵正.一种通用数据库数据整理方法[J].计算机工程,2007,(2).

存储范文篇7

关键词:运筹学最优采购策略随机型存储模型安全库存量

一、引言

在当今的开放而竞争激烈的国内市场中,效益与效率是人们永远追求的目标。库存与库存管理越来越为企业经营者特别是物流的管理者和经商者所重视,库存管理的首要目标就是保证一定时期内期望数量的产品有现货供应。然而要确定订购量补足库存,就需对其相关成本进行权衡。

因此在满足需求的情况下,决定存储点应保持多少库存、什么时候订货、订购量为多少,等等,达到库存总费用最省的目的,即我们所要研究的最优存储策略。本文针对连续盘存的(s,Q)存储控制系统安全库存量在需求量和提前订货时间随机变化情况下的模型分析,并给出了求解方法和一个案例,结果表明,现实生产工作中,在较不复杂情况下利用随机型存储模型求得的采购成本远低于公司根据经验或其他方式下的采购成本。

二、建立模型

1.根据需求量和提前订货随机变化情况确定安全库存量

安全库存量一般只是在需求量和提前订货时间有随机变化的情况下,才予考虑,并要控制到最低限度。安全系数法是从保险储备对需求的保证程度,即安全系数来确定安全库存量的方法。其计算公式为

安全库存量=安全系数**需求量变化偏差值

安全系数,决定于生产中允许缺货的概率,一般为a=0.5—2.5。如生产中不允许缺货(缺货概率小于3%),a值应大,可令a>2;如允许缺货(待料期间可用其他加工零件调节,不影响生产任务的完成),这时a值应小,取0.5—2。

需求量变化偏差值σD主要取决于数值差值的大小:

σD=(最大值-最小值)*

2.根据预定服务水平确定安全库存量

若订购时间及实际需求量Di的随机波动可以确定为某种统计分布,且需求量的统计资料比较可靠和完备,则可运用数理统计的有关方法,从满足预定的某一服务水平(不缺货概率)出发,来确定必要的保险储备量。实践表明,很多物资订购期间实际需求量出现的概率上一服从正态分布的。因此,这里将按正态分布的原理来确定安全库存量。

Qss=a*σ

式中:σ为订购期间实际需求量的标准差,它反映实际值对其均值的离散程度。

σ=

式中:a在库存控制中为安全系数,它可根据预定的服务水平(不缺货概率),查正态分布表得出。服务水平,即不缺货概率=1-允许缺货概率。允许缺货概率可根据企业长期经营的经验做概略规定。如服务水平不低于98%,即表示在100个订货期间内,允许缺货次数不得多于2次。Fi为需求

量Di相映的出现次数。

3.根据总成本期望值最小模型求得的安全库存量

上述两方面是介绍了简单随机型库存模型下安全库存量的求解,并可算出:存储费用=年需求量/订货批量*一次订货费+(平均库存量+安全库存量)*库存物资单价*保管费率。

这小节根据s=d(L)+ss求解安全库存量。即可知单位时间内订货次数为D/Q,期望准备成本为AD/Q,如果包含产品成本则加上CD.单位时间内期望持有成本为H[Q/2+s-d(L)+qb]

式中,b=v

是提前期内缺货量的期望值,f(x)是x的概率密度函数。因缺货补充,pb这一部分上一延期交货量不进入库存,qb这一部分是失去的销售量,货到后直接进入库存。

单位时间内缺货成本为

式中,Ps为提前期内缺货的概率,F(s)是提前期内不出现缺货的概率,B1是一次缺货的固定成本。

单位时间内的总成本期望值最小的数学模型为

minC(s,Q)=

分别令C(s,Q)对s及Q的偏导数等于零,解得

Q=

通过迭代可求解s,则ss=s-d(L)。

三、应用研究

1.应用案例

(数据来源于宝钢股份公司设备部内部)

以型号为650/575*1580*5350的F4-7工作辊为例,计算需求发生随机变化的库存控制模型。

假设需求变化符合正态分布,由于提前期是固定数值,因而可以直接求出在提前期内的需求分布的均值和标准差。一定顾客服务水平下需求变化的安全系数如图(1)所示:

图(1)顾客服务水平与安全系数的关系

从而可以得出安全系数表,如表3-1所示:

表3-1

通常是根据备件重要程度的大、中、小取1.65~1.00较为恰当。

保险库存=Zσd

ROP=LT+Zσd,b……平均月需求,σd……月需求标准差,LT———订货提前期天数。

如以型号为650/575*1580*5350的F4-7工作辊为例,采购周期为4个月,2002年1-8月的领用记录如表3-2所示

表3-2

对于不要求精确的备件来说,可采用极差R法来推算标

准差定值的方法。即:σd=R*

式中是一个修正系数,它与样本容量N有关,其值

见表2-1:

σd=0.351*(22-4)=6.32

与标准计算结果相差8.24-6.32=1.92Z=1.65

利用非精确方法计算,保险库存=Zσd=1.65*6.32*21个

订货点ROP=LT+Zσd=12*4+1.65*6.32=48+21=69个

经过计算,该工作辊的最低库存量为21个,订货点为69个。

2.应用分析

文章案例是根据需求量和提前订货随机变化情况确定安全库存量,通过计算即:存储费用=年需求量/订货批量*一次订货费+(平均库存量+安全库存量)*库存物资单价*保管费率,证明利用随机型模型确定的采购量得出的总费用远低于未采用的实际订购情况下的费用。但是要注意在利用随机型库存模型求解时,要根据实际来确定采用哪种情况下的安全库存量,本例中数据领用情况不复杂,所以我通过简单随机模型来确定其安全库存量,最终使结论得到证明。

存储范文篇8

云计算技术进过了多年的实践探索与理论发展,已经变得日益成熟,已经成为了互联网时代的主要技术之一。云计算技术与传统服务器-客户端模式完全不同,它主要是利用互联网的优势、虚拟化特征、整合分布式计算,大大降低了运维成本、设备成本,也提高了服务的可靠性,日益成为了IT市场新的宠儿,以易扩展、按需提供服务的方式来占领市场。而云存储(CloudStorage)则是一种新型数据访问服务,它以数据管理和数据存储为核心,在云计算的基础上发展起来的。云存储有机地结合了存储硬件设备和应用软件,向终端用户并非提供单纯的存储设备,而是提供存储服务,这完全不同于传统存储应用模式。随着云存储服务的快速发展,已经有越来越多的个人和企业体会到受益于云存储所带来的综合成本下降、便捷与高效。但是值得注意的是,云存储安全问题也越来越受到人们的重视。本文就云存储安全需求及实现进行分析。

2云存储系统架构

全球网络存储工业协会(SNIA)早在2009年4月就已经开始组建云存储技术工作组,日前已经了云数据管理接口(CDMI)规范(第一版),初步规范了元数据、队列、性能、数据对象、计费、计算、容器。云存储系统是一个复杂系统,由客户端程序、接入网、存储设备、公用访问接口、应用软件、服务器、存储设备、网络设备等组成,可以为用户提供多种网络在线存储服务,还可以对外提供高效、可靠、安全的业务访问服务和数据存储服务。云存储系统中最基础的部分就是数据存储层,主要是由不同类型的网络设备和存储设备组成。数据存储层可以实现海量数据的状态监控、存储设备管理、统一管理等。值得注意的是,云存储系统中最复杂、最为核心的部分就是数据管理层。数据管理层采用分布式存储技术和集群技术来负责计费、数据容灾、备份、加密,还可以提供高可扩展性、高可用性的服务,协调多存储设备工作。而数据服务层是利用云存储资源进行应用开发的关键部分,云存储提供商通过数据服务层为用户提供统一的协议和编程接口,进行应用程序的开发。

3云存储安全需求

由于云存储还是一个较为新鲜的话题,目前国内外学术界对于云存储安全的研究还比较少。美国学者XiaosongLou等提出的安全防护方法是采用数据毒化的版权保护方法,对用户的合法主要通过签名和时间戳来进行判断,一旦发现访问用户为非法用户,那么就会迅速地对非法用户的计算能力进行消耗,同时以不可用链接来对他所保护文件的请求进行回应。JeremieTharaud等提出用嵌入水印的方法来对电子医疗信息云存储系统进行保护。为了有效地避免医疗信息被篡改,对于电子医疗信息的使用者和分发者在使用信息时提取水印进行验证。TamleekAli等改进了UCON模型,整个数据安全保护模型基于云计算来进行使用控制,且还定义了一系列的共同保护文件,如认证模块、访问控制模块、文件管理模块等。Bowers等提出了分布式加密系统;Kaiwang等人为了有效地保证数据的完整性及可审计性,将标识用户信息的水印嵌入到数据片中。Cachin等为了解决数据一致性和完整性的问题,采用了加密工具。与此同时,北京邮电大学、中国科技大学、国防科技大学、哈尔滨工业大学、华中科技大学、清华大学等高校也陆续开展了一系列云存储安全保护的工作。云存储安全需求主要有:数据备份安全性、安全性分级安全性、存储安全性、访问安全性。

3.1数据备份安全性

数据存储的方式无论发展到何种阶段,出现何种变化,数据备份的地位都是极为重要的。完整的数据备份能够保障任何意外中损坏、丢失的数据都可以在最短时间内得以恢复,从而避免出现损失。值得注意的是,也务必要保障数据备份安全,使之不会出现问题。数据备份通常是根据用户的不用需要来灵活选择备份的位置。若想提高数据备份可靠性,那么可以将其放在独立于云外的存储系统中;若想提高数据备份恢复效率,那么可以将其放在云中。

3.2安全性分级安全性

存储于云端的数据对于用户和企业而言,都需要采取一定的分级保护。如个人信用卡信息、个人银行卡信息、客户列表等数据往往需要高级别的安全保护,而如一些音乐文件或者企业对外宣传档案等没有什么保护价值的数据则不需要任何的安全保护,或者只需要一些低级别的安全保护。但实际在互联网中,很多情况远远比数据本身的分类更加复杂。某一段时间内数据对于数据的创建者而言极为重要,需要采取高级别的安全保护;而之后则为了让更多的用户可以利用、下载这些数据,而降低数据安全保护级别。或者对于一些用户设置为禁止访问,而对一些特定的用户群设置为开放访问。所以,在云存储建设过程中,应该根据数据不同的安全保护需求来采取相应的安全分级措施。

3.3存储安全性

云存储是在云端集中存储大量的数据,若云存储系统不具备良好的自我保护、自我防御、自我预警的功能,那么很容易在非法入侵或者黑客攻击的情况下,用户重要数据被恶意窃取、篡改,甚至还有可能会全部丢失用户数据,甚至还有可能会让整个云存储服务崩溃。应该基于构建云存储入手,可采取软件硬件结合、单独采用软件,或者单独采用硬件的方式来保护数据存储的安全。为了获得相对安全的基础存储系统,可以采取一些提高数据存储安全的方式,如分布式文件系统安全技术、PGP技术、自加密磁盘技术等。3.4访问安全性众所周知,云存储服务具有较大的灵活性,无论采用何种终端设备,都能够利用同一账户访问该账户所存储的数据。而一旦黑客盗取了用户的账户密码,那么很轻易就对账户内的数据进行销毁、篡改、复制,而用户却毫不知情,这样一来,就给用户带来了较大的损失。因此,所有数据存储云都必须认真考虑用户账户的安全问题。笔者认为可以采用数字签名、数字认证、动态密码等方法来保证用户账户的安全。

4如何有效实现云存储安全

4.1加强信息加密算法的应用

众所周知,各种密码算法就构成了云存储数据信息加密,没有安全的密码算法,那么必然就不会存在云存储数据信息安全,密码算法是云存储数据信息安全的重要基础之一,传统的加密系统只是采用同一个密钥来进行解密和加密,是一种对称加密,对称加密算法包括AES下一代对称密钥系统、IDEA加密算法、DES算法。而加密系统发展到现在,又出现了一种非对称加密方法,被称为公开密钥,包括单向杂凑函数密码、DSA数字签名技术和RSA公开密钥密码技术等,解密者和加密者拥有各自不同的一套密钥。在云存储中,目前应用最为频繁的算法就是PGP混合加密算法、RSA公开密钥密码技术算法和DES算法等。

4.2云防火墙

云防火墙为各种规模的网站提供最先进的网站安全保护和网站性能提升服务,通过一个简单的DNS变化(配置版通过一个IP地址),通过您网站的流量无缝地路由到了湖盟云防火墙的全球分布式网络系统中。智能异形实时传入流量,阻塞最新的网络威胁:从复杂的SQL注入攻击,恶意的机器人攻击,垃圾邮件发送者和阻挠多个千兆DDoS攻击。同时,传出的流量是加速和优化后通过湖盟云防火墙的全球CDN,更快的加载时间,展示给浏览者。有助于落实又快又可以扩展的部署,方法是采用以安全配置文件为基础的模板驱动型动态策略管理通过XMLAPI以编程的方式与第三方管理和协调工具集成,从而增强管理的灵活性对网络管理员、服务器管理员和安全管理员等角色都提供了相应的管理界面,从而协助确保实现协作监管。云防火墙有5个显著的特点——(1)强大的抗攻击架构,可以抗200G以上流量的攻击。(2)操作简单。把被攻击的网站或者服务器IP地址接到云端网络,就可以立即实现抗攻击功能。(3)高安全性。各云端节点采用同构可互换等架构措施,节点仅服务对应的区域,源服务器隐藏在云端后面,云防火墙具备过滤及清洗功能。(4)高可扩展性。云防火墙的规模可以动态伸缩,满足应用和用户规模增长的需要。(5)计费合理。不按带宽收费,不加收任何初始配置费用,按照攻击流量计费,比硬件防火墙可节省50倍成本。

4.3开展云存储安全专题培训

通过云存储安全专题培训,能够进一步地让广大用户了解到云存储安全的重要性,还掌握到云存储安全防范的基本方法,培训对促进企事业单位云存储安全管理和提升云存储安全运行环境具有积极的意义。培训中,教员不仅应该从理论上介绍云存储安全隐患的相关知识,还应该结合安全案例,用现场演示的方式,向大家介绍漏洞攻击、密码破解、识别钓鱼网站、木马窃取资料和云存储网络监听等基本攻击手段,以及用户遭受黑客攻击云存储后产生的损失,使大家切身体验到云存储安全的重要性、普遍性和危害性。

4.4同态加密

同态加密是一种特殊的加密体系,由RIVESTR等提出,使得对密文进行代数运算得到的结果与对明文进行等价运算后再加密所得结果一致,而且整个过程中无需对数据进行解密。该技术如果实现,将很好地解决把数据及其操作委托给云服务时的数据机密性问题。

5结语

存储范文篇9

1.电子信息存储中的安全隐患

一是个人在上网时缺乏对安全隐私的维护和警惕心理,使得个人信息在网上广泛流传;二是电子设备遭受到一些不怀好意的黑客或者病毒的攻击,这种往往是对方有意而为之的,因而它造成的信息泄露和信息平台无法运营比其他任何方式都要严重;三是由于一些不可抗力,即外界因素,如自然界的雷雨天气、电路的突然断电或线路老化而造成的信息存储的突然中断和存储不完整。这些因素综合起来构成了现代电子信息存储在安全上的极大隐患。这些隐患在电子设备中就像一颗不定时炸弹,不发则已,一发则不可收拾,造成无法挽回的损失。

2.电子信息存储安全的有效措施

(1)信息录入和存储过程要保持心理上的警惕首先,在打开信息存储的相关页面时,应当注意该页面是否存在安全漏洞。尤其在要求输入账号密码等隐私问题上保持警醒,这时最好查看个人的存储设备是否被其他人所共享、在机器上是否发现了不正常存在的数据线或硬件设备、个人所用的网络是否被他人可见等;接下来,录入信息之后应当将公用设备上的相关记录进行消除,如更改上网浏览记录、不定时更改相关密码、删除从电子存储设备中转移过去的拷贝文件等。最后,应当在平时的生活中养成安全录入信息的意识和习惯。如不使用常见的密码设置、注意更新杀毒软件的配置、不随意下载不经安全监测的电子邮件或影音文档、随时备份电子信息并上传至其他备用存储设备等等。(2)电子信息存储应当尽量降低外界的干扰笔者在开篇就提到,电子信息存储的安全问题,不仅仅是受到来自人为因素的干扰,还会受到来自客观和不可抗外力的影响,因而信息存储者必须要具有防范客观干扰因素的思想意识。信息存储者必须针对存储设备的使用规范以及操作要求等来进行信息的存储[2]。这就要求信息存储者对电子信息存储设备的使用和保养有一定的了解,如不能让设备经受来自外界强力的干扰,如受潮、阳光暴晒、猛烈挤压或跌落等;另一方面,要考虑到外界可能产生的不可抗因素,如突然断电造成的信息存储中断,这就转到了笔者上文中提到的话题,即经常对存储信息进行更新和备份,以防造成不可逆转的损失。总之,电子信息的存储安全要考虑两方面的因素:一个是连接网络时的安全问题,一个是信息存储本身的安全问题。这两者对于电子信息的存储安全都具有不可忽视的影响力,缺少任何一方面的警惕心都会造成信息的外泄和丢失,造成重大损失。

二、电子信息的有效利用

当今社会人们处于一种信息知识的时代,掌握信息才能够真正地推动自己的发展[3]。信息技术的飞速发展使人们实现了尽可能多地掌握信息资源的愿望。但与此同时,并不是所有的人都可以充分地利用电子信息来完善自己。受到个人能力和客观环境的局限,电子信息的利用率还有很大的开发空间。接下来笔者将重点对电子信息的有效利用进行分析和探讨。

1.提高个人充分利用电子信息的能力

是否能够有效地利用电子信息,是否能够使电子信息最大限度地为使用者服务,很大程度取决于使用者的个人能力。因而笔者强调,在电子信息的有效利用上,应当首先考虑人的因素。电子信息的集体使用者,如政府部门、企业单位、事业单位等,最好能够举办定期的培训会和讲座,为本部门的成员弥补电子信息使用上的不足,同时给他们输送最新的电子资讯,使他们能够与时俱进,不断更新电子信息安全和利用的知识储备。电子信息的个人使用者,也应当主动去完善自身的知识体系。由于每个人的优点劣势不同,个人的主动完善就能够更加具有针对性,个人使用电子信息的能力进步地也就更快。

2.合理分配电子信息使用资源

有效利用电子信息,不仅要求个人要不断完善使用电子信息技术的能力,也要求集团整体对电子信息的使用进行宏观的规划和分配。电子信息的应用体系中主要包括电子信息管理人员,信息资源,信息使用者以及信息设备[4]。这些在整个电子信息的存储系统中缺一不可,要求资源管理者进行合理的管理和分配。如针对集团成员使用电子信息技术的能力差别,安排他们做电子信息存储与运营中的不同项目,使他们的优势得到最大程度的发挥,并最小化其劣势对电子信息运营过程中可能会产生的不良影响。与此同时,笔者始终认为,科学合理的管理方式,能够对电子信息的存储安全和利用效率产生积极的影响。因此,在电子信息的整体管理方面,集团也应当加大人力物力的投入。

存储范文篇10

关键词VxWorks;mBlk;clBlk;网络协议存储池

VxWorks操作系统是美国WindRiver公司于1983年设计开发的一种嵌入式实时操作系统(RTOS)。它以良好的持续发展能力、高性能的内核以及卓越的实时性被广泛的应用在通信、军事、航空、航天等高精尖技术及实时性要求极高的领域中。VxWorks操作系统有着优越的网络性能,而缓冲区的数据拷贝是影响网络性能的主要因素。

众所周知,缓冲区在网络协议栈中有两个作用:第一,提供载体,使分组或报文可以在各协议层中流动;第二,为各级缓冲区提供空间。缓冲区的设立使得TCP/IP协议栈支持异步I/O操作,异步操作对于协议栈的I/0性能是非常重要的。在网络输出的过程中每一层需要在数据的首部或者尾部添加数据头和数据尾来对数据进行封装使得接收端对应的层能够进行正确的接收,在输入的过程中每层都需要将本层的数据头和数据尾去掉而最终还原成发送端发送的数据。上述的封装/去封装和拷贝操作使得网络协议对内核的存储器管理能力提出了很多要求。这些要求包括能方便地操作可变长缓存,能在缓存头部和尾部添加数据(如低层封装来自高层的数据),能从缓存中移去数据(如当数据包向上经过协议栈时要去掉首部),并能尽量减少这些操作所作的数据复制。

1使用netBufLib管理存储池的基本原理

网络协议存储池使用mBlk结构、clBlk结构、簇缓冲区和netBufLib提供的函数进行组织和管理。mBlk和clBlk结构为簇缓冲区(cluster)中数据的缓冲共享和缓冲链接提供必要的信息。netBufLib例程使用mBlk和clBlk来管理cluster和引用cluster中的数据,这些结构体中的信息用于管理cluster中的数据并且允许他们通过引用的形式来实现数据共享,从而达到数据“零拷贝”的目的。

1.1结构体mBlk和clBlk及其数据结构

mBlk是访问存储在内存池中数据的最基本对象,由于mBlk仅仅只是通过clBlk来引用数据,这使得网络层在交换数据时就可以避免数据复制。只需把一个mBlk连到相应mBlk链上就可以存储和交换任意多的数据。一个mBlk结构体包括两个成员变量mNext和mNextPkt,由它们来组成纵横两个链表:mNext来组成横的链表,这个链表中的所有结点构成一个包(packet);mNextPkt来组成纵的链表,这个链表中的每个结点就是一个包(packet),所有的结点链在一起构成一个包队列,如图1所示。结构体mBlk和clBlk的数据结构如下所示:

structmBlk

{

M_BLK_HDRmBlkHdr;/header/

M_PKT_HDRmBlkPktHdr;/pkthdr/

CL_BLKpClBlk;/pointertoclusterblk/

}M_BLK;

structclBlk

{

CL_BLK_LISTclNode;/unionofnextclBlk/

UINTclSize;/clustersize/

intclRefCnt;/countofthecluster/

structnetPoolpNetPool;/pointertothenetPool/

}CL_BLK;

/headeratbeginningofeachmBlk/

structmHdr

{

structmBlkmNext;/nextbufferinchain/

structmBlkmNextPkt;/nextchaininqueue/record/

charmData;/locationofdata/

intmLen;/amountofdatainthismBlk/

UCHARmType;/typeofdatainthismBlk/

UCHARmFlags;/flags;seebelow/

}M_BLK_HDR;

/record/packetheaderinfirstmBlkofchain;validifM_PKTHDRset/

structpktHdr

{

structifnetrcvif;/rcvinterface/

intlen;/totalpacketlength/

}M_PKT_HDR;

1.2网络协议存储池的初始化

VxWorks在网络初始化时给网络协议分配存储池并调用netPoolInit()函数对其初始化,由于一个网络协议通常需要不同大小的簇,因此它的存储池也必须包含很多簇池(每一个簇池对应一个大小的簇)。如图2所示。另外,每个簇的大小必须为2的方幂,最大可为64KB(65536),存储池的常用簇的大小为64,128,256,512,1024比特,簇的大小是否有效取决于CL_DESC表中的相关内容,CL_DESC表是由netPoolInit()函数调用设定的。1.3存储池的链接及释放

存储池在初始化后,由netPool结构组织几个下一级子池:一个mBlk池、一个clBlk池和一个cluster池。mBlk池就是由很多mBlk组成的一条mBlk链;clBlk池就是由很多clBlk组成的一条clBlk链。cluster池由很多的更下一级cluster子池构成,每一个cluster子池就是一个cluster链。每一个cluster链中的所有cluster的大小相同,不同链中的cluster大小不同。但要实现不同进程访问同一簇而不需要作数据的拷贝,还需要把mBlk结构,clBlk结构和簇结构链接在一起。创建这三级结构一般要遵循这样五步:

a.调用系统函数netClusterGet()预定一块簇缓冲区;

b.调用系统函数netClBlkGet()预定一个clBlk结构;

c.调用系统函数netMblkGet()预定一个mBlk结构;

d.调用系统函数netClBlkJoin()把簇添加到clBlk结构中;

e.调用系统函数netMblkClJoin()把clBlk结构添加到mBlk结构中。

这样,就构成了最后的缓冲区。

在缓冲区中的数据使用完毕后要及时的释放内存,这一过程只需要调用系统函数netMblkC1ChainFree()释放存有数据的mBlk链表。例如当数据向上层传送时,在本层中可以释放已经不再使用的mBlk链表,由于在clBlk中记录着指向本模块的mBlk的个数,虽然释放了mBlk链表,但是这并不表示将cluster中的数据释放掉了,上层复制的链表仍然控制着这些数据,直到clBlk中的mBlk计数为0时才真正的将数据占用的簇释放掉,将数据占用的内存空间释放、归还给系统将来使用。

2网络协议存储池与数据的封装处理

VxWorks操作系统之所以采用mBlk—clBlk—cluster这样的网络数据存储结构,目的就是减少数据拷贝的次数,提高网络数据的传输速率。

在网络输出的过程中当从上层向下层传递数据时,下层协议需要对数据进行封装使得接收端对应的层能够进行正确的接收。下面通过实例分析网络数据的封装过程。例如要在如图3所示的mBlk链中添加IP和UDP的首部。

在mBlk链表中封装数据的方法是分配另外一个mBlk,把它放在链首,并将分组首部复制到这个mBlk。IP首部和UDP首部被放置在新mBlk的最后,这个新mBlk就成了整个链表的首部。如果需要,它允许任何其它低层协议(例如添加以太网首部)在IP首部前添加自己的首部,不需要再复制IP和UDP首部。在第一个mBlk中的mBlkHdr.mData指针指向首部的起始位置,mBlkHdr.mLen的值是28。在分组首部和IP首部之间有72字节的未用空间留给以后的首部,通过适当地修改mBlkHdr.mData指针和mBlkHdr.mLen添加在IP首部的前面。注意,分组首部已经移到新mBlk中了,分组首部必须放在mBlk链表的第一个mBlk中。在移动分组首部的同时,在第一个mBlk设置M_PKTHDR标志。在第二个mBlk中分组首部占用的空间现在未用。最后,改变在此分组首部中的长度成员mBlkPktHdr.len,成员mBlkPktHdr.len的值是这个分组的mBlk链表中所有数据的总长度:即所有通过mBlkHdr.mNext指针链接的mbuf的mBlkHdr.mLen值的和。本例中由于增加了28个字节变成了1488。如图4所示。这样,当报文在协议栈中流动时,不会拷贝报文链,而只需把指向mBlk的指针通过参数传递。当报文需要进人缓冲区时,也是通过链表的指针操作将报文插入或添加到队列中。

3结论

网络协议存储池的职责有两个:为协议栈提供合适的缓冲区,如果太大会浪费系统资源,太小会影响协议栈的吞吐量;提供合适的数据结构装载网络报文,既可以使协议栈方便地处理报文,又可以减少缓冲区拷贝的次数。减少拷贝次数不仅降低了CPU的负荷,还可以降低存储器的消耗。本文剖析了嵌入式操作系统VxWorks中网络协议存储池的原理,实现了数据能够动态增删、但在逻辑上又呈现连续性的数据结构。能够满足在各协议层之间传递数据而不需要进行内存拷贝。

参考文献

[1]翟东海,李力.mbuf的实现原理剖析及其在网络编程中的应用[J].计算机工程与应,2004(8):104-106.

[2][美]DouglasE.Comer著.张娟等译.用TCP/IP进行网际互联第二卷:设计、实现与内核(第三版)[M].北京:电子工业出版社,2001.05.