大数据在电力企业中的应用

摘要：在充分理解电力企业业务和本次数据咨询项目目标的基础上，以电力企业现在及未来业务战略发展为导向，采用大数据的视野及思维，引入大数据分析挖掘技术，以先进的大数据咨询实施方法论为指导，设计大数据项目咨询的整体框架，以横向协同和纵向贯通为理念，在对电力企业进行数据平台需求调研分析的基础上，制定了大数据战略目标，构建了数据体系规划、、数据平台规划、数据平台应用场景梳理及验证规划，形成了对数据全生命周期的管理。最后，以五凌电力为例，说明此框架不仅满足企业数据的现在需求及未来发展，也有利于企业产业链数据的集成，为企业后续数据深化应用奠定基础和指导。

关键词：大数据分析项目；方法论；数据体系；数据平台规划；应用场景

大数据已经深刻地改变了企业和人们的生产、生活方式，信息技术的快速发展对社会各个领域正在产生革命性的影响。面对浩瀚数据，企业如何驾驭数据，如何挖掘数据，如何利用数据提升企业管理、生产、服务等能力，是每个企业都遇到的难题。电力企业的数据特点是增长快，种类多，实时性，分散化。①电力行业具有广泛分布的监测终端、智能设备和计算机集群，其监测终端密度的增加和监测频率的提高，使得单位时间内的数据采集量不断增加[1]。②电力数据的种类繁多，包括数据、文本、图像、视频、音频等相互关联的不同类型[1]。③电力数据处理往往对实时性要求较高，以适应电力供需平衡的实时响应过程，保证发用电计划等业务在数据处理、决策制定与执行方面的时效性[1]。④电力数据往往分布在各业务系统，比较分散、各自为政、独立封闭，数据不能互相衔接，跨业务融合实现难度较大。因此，相比其他一些企业，电力企业面对的大数据的难题更复杂。一些电力企业对大数据表现出了很大的兴趣，但由于缺少战略习惯研究和顶层设计的指导，影响了智能电网大数据研究和应用的有序推进[2-4]。因此，先进的方法论是电力企业大数据项目成功的关键。科学系统的方法论有助于找出数据项目正确的解决方案，从数据项目中得到价值，促进企业的良性稳健发展。

1电力企业大数据项目咨询方法论整体框架

中国工程院院士倪光南认为，当数据汇聚融合起来以后，它的价值会更加提升[4]。国务院《促进大数据发展行动纲要》提到了数据开放共享和数据汇集与发掘[5]。解决企业的问题时，Zachman框架模型提出了横向和纵向两个维度的分析方法。鉴于此，企业大数据项目咨询难在横向协同合作和纵向贯通执行。综上所述，大数据项目咨询方法论的整体框架应该体现横向协同、纵向贯通的理念，在此理念下设计整体框架。设计的整体框架（图1）包括1个理念，1个基础，1个目标和3个规划。具体是以横向协同，纵向贯通为理念，在充分调研与综合分析的基础上，制定战略目标，构建数据体系规划、数据平台规划、应用场景梳理及验证规划3个规划，这3个规划与前面的理念和基础不是孤立的，是互相联系和互相影响的。每一规划都体现了理念，每一规划都是建立在调研与分析的基础上，没有调研与分析，就没有这3部分的规划；没有理念，就不能进行正确的规划。在3个规划中，数据体系规划是其他2个规划的基础，数据平台规划是其他2个规划的纽带，应用场景梳理及验证是其他2个规划的展现。1.1电力企业大数据项目的调研与分析。调研与分析，是解决企业大数据咨询项目的根本，是框架的基石。调研分析包括3个阶段，准备、调研访谈和总结与设计阶段。准备阶段是准备资料清单和相关模板，初步分析企业的需求；调研访谈阶段是对相关部门、人员进行访谈分析，形成问题反馈；总结与设计阶段是综合分析收集的资料，形成调研报告，初步设计数据项目的解决方案。在每个阶段，都要注意企业的横纵向交流与分析，全面理解企业大数据的需求和差距，以及企业数据的现状。1.2电力企业大数据项目的战略目标。大数据项目的战略目标以公司现有及未来战略目标为导向，参考本行业数据应用的最佳实践，采用大数据的视野及思维，引入大数据分析挖掘等技术，提出适合本公司的数据平台建设和运营的架构蓝图和演进路线。制定战略目标包括调查研究与分析、拟定目标、评价论证和目标决断4个步骤。战略目标具有具体化、可量化、长期性、横向协同性、纵向贯通性、可检验性、可接受性、超前性等特点。大数据项目的目标是对数据的深度挖掘，挖掘数据的价值，实现数据创造价值。1.3电力企业大数据项目的数据体系规划。大数据项目的数据体系规划从数据治理的组织架构、数据治理内容、数据治理架构几个方面开展。数据治理的组织架构是数据治理工作开展的基础，组织架构包括数据管理决策者、数据治理中心、各业务部门。数据治理内容包括数据战略、组织、数据标准管理、元数据管理、数据质量管理、数据安全合规管理、数据服务创新管理、数据生命周期管理。数据治理架构是以数据资产为核心，从数据资产梳理、数据标准、数据质量管理、数据集成共享、数据管控、数据治理管理等方面增强数据宏观管控。数据资产设计通过业务价值链的方法，逐级分解梳理，确保数据资产梳理的完整，得出企业的数据资产清单。数据标准设计通过CIM和BCS建模，使得大数据平台抽取各系统的“异构”数据，进行清洗、转换、整合，采用统一的定义、数据架构（模型）将数据进行统一管理并使用。数据治理规划坚持分工合作、协同推进的组织方式，加强沟通与协调，保证数据应用在企业级层面上，确保数据规划工作的落地和执行。1.4电力企业大数据整合平台规划。电力企业大数据整合平台规划是合理设计数据存储、计算、分析功能，平台能够有效支撑对各种数据的写入、查询与检索操作。平台规划要充分考虑各种应用的计算需求，合理设计计算功能，支撑上层分析应用对不同计算的应用需求。平台规划要充分考虑基于大数据应用特点，提出大数据数据共享、数据服务的应用策略，体现了数据横向协同、纵向贯通的理念。平台技术架构从设计到实现均秉承面向服务架构（SOA）理念，快速满足企业对数据信息的应用，以适应不断变化的企业环境，为决策层、管理层以及操作层的人员提供技术先进的数据应用平台和灵活的业务构造能力。1.5电力企业大数据平台应用场景梳理及验证。大数据项目的应用场景梳理是制定大数据在企业各业务上的应用场景的发展计划。①建立业务场景。给出业务场景、功能和数据的描述。业务场景定义需要了解业务本质、要素和要素间的关系，从业务目标的决策定义到执行再到决策的闭环业务的描述。②建立大数据应用场景。基于业务场景的描述，形成业务数据的理解，建立大数据应用场景。③大数据应用场景选择策略。从核心价值链上的业务、降低成本相关的设备运维相关的业务、涉及到全业务流程的应用、数据采集频度高且数据质量较高的业务、受电力市场外部环境影响大的业务等多维度来选择具有典型业务应用的重要大数据场景，特别注意的是业务应用场景规划不能单靠企业某一个部门来孤立完成，它需要企业内部多部门的横向协同才能完成。电力企业大数据平台应用场景验证是为观点提供证据，也就是确定大数据平台是否适合大数据业务场景的要求，达到大数据业务场景评价指标的要求，也是验证大数据平台是否具有横向协同、纵向贯通理念。它最大的价值在于能在大数据平台大规模正式实施方案以前，确定该平台是否可行和可靠，这对于电力企业来说具有重要的意义。应用场景建设及验证的流程是确定应用场景、确定应用场景接入的数据信息、确定应用场景验证内容。

2案例分析——五凌电力数据咨询项目规划

多数电力企业的大数据平台从数据采集、存储、分析、应用、展示等方面进行整合集成，企业的管理能力和效益得到提升。仔细研究这些企业的大数据平台建设，可以为五凌电力企业大数据规划提供成功的经验。五凌电力通过多年的信息化建设，已经取得了一定的成效。但是现有企业数据和系统较分散，电力体制面临改革，未来市场环境复杂多变，五凌电力急需加强企业对大数据方向的研究和规划。因此，下面结合经验和上文的整体框架对五凌电力数据项目进行规划。2.1五凌电力大数据项目的调研分析。大数据项目的调研分析是准备五凌电力大数据平台的相关材料，设计调研问卷和访谈提纲，并分析调研资料，形成一系列支持大数据项目的报告。调研主要工作是调研五凌电力相关部门、IT系统和领导。每次调研访谈产生相应的访谈会议纪要和反馈。分析的主要工作是对访谈及收集的材料进行系统性的调研梳理，编写五凌电力数据的分析调研报告，主要报告有《五凌电力大数据调研报告与需求分析》、《五凌电力大数据平台解决方案框架设计》、《大数据体系支撑能力》、《大数据资产识别与定义及数据模型》等。这些为五凌大数据项目的后续步骤提供参考依据，并针对汇总的问题及需求，制订五凌电力数据平台总体建设思路——全生命周期的数据资产管理平台。2.2五凌电力大数据项目的战略目标。以五凌电力公司现有及未来业务发展为导向，参考能源行业数据应用的最佳实践，采用大数据的视野及思维，引入大数据分析挖掘等技术，梳理、规范五凌公司内部各业务、各层级的数据，充分融合营销、气象、物流等外部数据，完成数据资产体系和标准体系设计规划，为后续数据平台的建设及数据的深化应用、决策支持奠定基础，最终实现五凌信息化“三大三化”的目标。2.3五凌电力企业大数据项目的数据体系规划。充分考虑五凌电力战略发展和新能源行业发展趋势，从公司全局角度出发，构建了五凌电力企业的数据体系规划，如图2所示。五凌电力数据治理规划体系包括组织架构、数据治理内容、数据治理等方面。数据治理以数据资产为核心，包括数据梳理、数据标准、数据质量、数据集成共享、数据管控、数据治理。数据资产梳理通过业务价值链的方法，从业务板块→业务域→子业务域→业务活动→数据资产逐级分解梳理，梳理出数据资产。数据标准过程主要是通过CIM模型和BCS对象模型来实现，打破各系统间的数据“异构”性。通过数据体系规划实现企业数据的标准化，统筹管理并协调人员、流程以及技术等要素，使数据整合起来，供公司每个层面的需要，真正把数据转变为企业的资产。2.4五凌电力大数据整合平台规划。五凌电力大数据平台总体架构分成7层。第1层是基础设施层。大数据平台采用分布式部署，无状态的服务集群，解决单点故障问题，支持动态扩展，资源弹性调度。第2层是混合存储与数据集成平台。数据采集主要支持多源异构数据的分布式采集。该层实现各类接口数据的无缝可视化接入，并且能针对不同类型的数据提供统一的协议接入、数据清理、数据转换、数据路由、数据入库的处理和编程扩展支持。数据存储层是整个方案的基础核心，本方案针对不同数据类型提供了整体的存储和管理解决方案，并可以有机的整合在一起，对上层的各种应用都提供很好的支持接口。在性能方面，可扩展性和海量数据支持上做到业界先进。第3层是大数据整合接入层。第4层是大数据分析服务层。第5层是应用公共服务层。第6层是应用创新层。第7层是服务集成与协作门户。这一部分每层都体现横向协同，纵向贯通的理念。不仅统筹协同整合公司内部资源、流程以及技术等，还要协同客户、合作伙伴的应用服务等。2.5五凌电力大数据项目应用场景梳理及验证规划。结合国家电投、公司经营发展和转型需要，在充分借鉴外单位大数据应用经验的基础上，对五凌电力大数据应用场景进行规划，应用场景规划包括全场景梳理（表1）、场景重要性排序、典型场景方案描述（输入、方法/模型、输出）、典型应用场景实现路径。五凌电力大数据平台的几个重点业务领域的大数据应用场景——企业运营、客户管理、采购、物资、生产运行、设备运维、项目管理、市场营销等。五凌电力大数据应用场景分为4类——预警类、分析类、仿真/优化类、预测类。五凌电力大数据典型场景包括竞价策略分析、流域来水预测、基于全工况运行模式库的火电机组经济运行策略分析、基于广义回归神经网络混煤煤质预测、风机发电量损失因素分析、光伏发电系统效率影响因素分析、光伏发电系统组件清洗预测。根据五凌电力公司当前管理需求，选择应用需求强烈、实现价值明显、数据源相对完整、模型相对简单的应用场景——利润场景、水轮机设备可靠性场景、风机偏航预警场景、物资库存优化场景，按照详细技术架构，搭建简易技术环境，并导入相关的数据，设计并实现应用场景，验证数据模型的合理性、正确性。本节以物资库存优化大数据应用场景来说明场景建设及验证。物资库存优化应用场景概述是以物资库存的变化趋势、积压物资比例、物资库龄、采购需求计划等关键因素为分析主题，找到易积压的物资、高库存金额的物资以及这些物资的特性，为公司物资库存优化提供参考。因此，库存优化POC场景的目标有2个：合适物资和降低库存。它的分析主题是物资库存的变化趋势、积压物资比例、物资库龄、采购需求计划等关键因素。它的分析对象是数据量较大的12个水电厂、黔东火电厂、布尔津、托克逊风场以及力源公司、工程公司。物资库存优化应用场景接入的数据是五凌电力ERP中的物资编码、物资库存事务处理（包括采购接受、物资入库、物资出库等）、物资批次等信息。物资库存优化应用场景的分析方法是聚类分析、组合分析、关联分析等。通过分析现有库存物资的金额占比、库龄分布等内容，提供采购计划关联分析功能，依据关联分析加强物资采购环节控制；进行物料库龄及库存金额组合分析，不难找到主要积压物资，辅助物资管理人员处理积压物资，以降低企业库存成本。物资库存优化应用场景验证了大数据平台为业务管控提供的高性能计算能力，在此成功的基础上，进行应用推广。

3结论

电力企业大数据项目咨询在充分了解大数据的现状和需求的基础上，充分了解企业的数据特征、设计数据治理规划、数据平台规划和应用场景梳理与验证，以支持大数据应用需求的落地。在五凌大数据项目中，数据框架不仅注重横向整合数据，而且采取应用场景先验证后推广的策略，最终落实数据的应用，为企业产生价值，提高企业核心竞争能力。

参考文献：

[1]严明良.电力行业大数据技术及应用研究[J].南京工业职业技术学院学报，2015，15（2）：1-5，19.

[2]GTMResearch.Thesoftgrid2013-2020:Bigdata&utilityanalyticsforsmartgrid-researchexcerpt[EB/OL].（2013）.www.giiresearch.com/report/gm257044-soft-grid-big-data-utility-analytics-smart-grid.html.

[3]EPRI.Bigdatachallengesforthegrid:EPRIsurveyresultsandanalysisDataanalyticsandapplicationsdemonstrationnewsletter2013[R/OL].www.smartgridnews.com/artman/publish/Business_Analytics/Big-Data-challenges-for-the-grid-EPRI-survey-results-and-analysis.

[4]倪光南.当数据汇聚融合价值会提升[EB/OL].news.ifeng.com/a/20161117/50273495_0.shtml.

[5]国务院.促进大数据发展行动纲要[EB/OL].www.gov.cn/zhengce/content/2015-09/05/content_10137.htm.

作者:邓鹏程 孙清勇 田苗苗 单位:五凌电力有限公司科技信息部