电力系统存储管理技术研究

摘要：随着海量数据的不断增加，除了给公司带来系统运行和数据交换上的压力外，还在无形中增加了公司成本，导致电力公司不得不在海量数据存储、交换以及监测分析压力中寻找新的解压物质。所以，我们以海量数据为研究对象，促进了多源异构数据优化管理系统的提出，其系统不仅能对多源异构数据进行存储和交换操作，而且也能完成历史数据的有效累积，进一步促进电力公司信息系统的优化，导致公司信息系统运行效率的显著上升，从而最大化的减小公司支出的运营成本。

关键词：电力系统；多源异构数据；存储管理技术

1多源异构数据的存储特点

该技术主要出发点和落脚点就是促进海量数据存储目标的实现，可以不断迎合电力公司与日俱增的相关数据，进一步促进数据分类和存储目标的实现。对多源异构数据存储技术来说，分布式数据存储在其存储技术中占据较高比例，使得电网数据的分类存储技术得以最终完成。存储技术可扩展性极强，存储能力的增加和服务器的添加可以同步实现，减轻进一步促进存储结果设计的繁琐操作；而且，其存储性能依旧保持不变。电力公司能够以具体业务需求为导向，促进对数据存储系统的灵活性运用，保持系统的正常运行。数据存储形态必须将关注的目光放在多管理者并发读写数据上，要全面保证存储服务器给不同管理者的数据都是统一的，所以，虚拟机集群存储以数据管理中心为导向，促进整体数据的分类整理，使其能够分类在数据库存储服务器中进行存储，从而保证能够有效对电力数据进行管理。非结构化数据的存储特点：数据存储容量大；媒体形式多样化；信息系统快速增长。结构化数据的存储特点：对结构化数据而言，其以行存储为常规存储方式，以记录为主促进其能合理放置在盘页中；而以列存储一系列存储为主要表现形态的存储模式，主要以列为主体面向对象，存储的数据表一直以数据列的形式而单独存在。

2多源异构数据的分离

（1）非结构化数据的分离。虚拟机集群里面主要包含的是非结构化数据存储，而非结构化数据经过数据管理中心的分离操作后，逐渐演变为另外两种数据形式，第一种为元数据形式，第二种为二进制数据形式。所谓二进制数据，其主要以关系表中有数据存在的形式而存在，其最终的展现模式以流数据形式为主。二进制数据统一存储在磁盘数据文件中。由于对于主要的磁盘数据文件来说，其存储于冗余磁盘阵列里面，而且主要以连续性方式为主，因此即使管理者数据库表里面的二进制数据会对数据存取效率产生影响，但是要想快速读取其文件，也可以通过对数据文件索引的进一步建立而实现，通过对二进制存储方式的运用，其里面的文件碎片管理有助于保证文件管理的高效运行。促进不同形式数据的不同管理，更有助于存储资源优化配置目标的圆满实现。在资源分配上，二进制数据存储区可以接收一些存储容量显著以及在计算能力上有优势的计算机资源，通过快速响应使主要的计算机资源都能最终固定在元数据存储区。（2）结构化数据的分离。分离结构化数据要经过以下过程：①数据预处理过程。其主要清洗数据，促进数据中噪声的过滤，从而使数据能够得到更好的保存；然后开始促进数据的转换，促使连续数据不断拆分，表现出离散集分析等基本性能。②准备训练集和测试集过程。以不同分类器提供的信息为导向，对聚类函数进行准确无误的评估，然后促进离散数据的进一步集合，使其最终以训练集和测试集的表现形式而存在。③构造分类器过程。综合前面步骤中成形的数据训练集，通过对特定分类算法的运用，促进特殊分类器的进一步形成。④评价分类器过程。综合上述步骤最终形成的测试集，通过对准确性评估方法的运用，使不同分类器都能得到具体准确的评估，只要其和准确度相符就可以继续使用，否则，必须进一步修改分类器，直到其达到一定准确性为主。

3多源异构数据的存储管理技术

存储阵列为了确保数据存取业务高可靠性、扩展性显著、高性能、高可用性等，促进了相应技术的开发和运用。所谓高可靠性，其主要需要包含以下职能：无论是器件冗余（多控）还是硬盘坏道检测/修复，无论是磁盘健康分析还是多路径技术，还包括BBU掉电保护以及RAID重构，除此之外，缓存镜像技术和磁盘保险箱技术也包含在内，最后，无论是磁盘预拷贝技术还是快照/克隆技术，亦或是LUN拷贝和远程复制都是其中不可缺少的主体。可扩展性主要包含Scale-out以及iSCSI，除此之外，FC技术和SAS技术也在其中，最后，PCI-e和FcOE也在其中扮演着重要作用。而高性能主要以块虚拟化技术cache回写以及cache预取技术为主，除此之外，12GbSAS和16GbFC也在其中作用显著。最后，对于高可用性而言，其中不仅含有SmartTier技术和SmartQos技术，而且SmartThin技术也是其中不可忽视的存在。分析上面提出的诸多存储技术可知，其有助于系统的全方位存储。然而本文研究的重点是多源异构数据优化管理系统，所以将SmartThin技术作为主要存储技术，其不仅可用性强，具有极高的空间利用率，而且可靠性强，数据读写操作性能强悍。SmartThin，属于存储容量的虚拟化特性中的一种。然而存储系统仅需要ThinLUN能够以存储池为出发点，最终往实际使用到的空间转变即可。这是一种以按需分配为主的主要技术，其主要优点是能以较少的投入获得较高的回报。其可以通过在线扩容的方式完成数据需求，减少由于数据迁移带来的风险，更有助于数据备份成本的节约。可以促进自动化容量管理功能的提供，为用户提供诸多便利。其主要是容量竞争机制是促进各业务的竞争，使其通过努力促进存储容量最优化配置目标的实现。除此之外，我们还能将ThinLUN所在的存储池作为要点，促进告警阈值的设置，一旦应用程序实际使用的存储池的容量和该阈值越来越近时，系统就会发出警示，我们就能进一步存储扩充其容量。

参考文献：

[1]张晓勇.基于多源异构数据融合的概念层次体系构建及其应用研究[D].南京理工大学,2017.

[2]郭馨蔚.多源异构数据的跨域关联方法研究及应用[D].电子科技大学,2016.

[3]陈淘,刘利兵.大数据技术在智能电网中应用[J].物联网技术,2016(04).

作者:马翔 方璇 吕磊炎 单位:国网金华供电公司