公共气象服务一体化平台建设与应用

时间:2022-06-18 11:22:26

公共气象服务一体化平台建设与应用

摘要:针对新形势下气象数据管理不规范、数据共享不及时、业务平台零散、业务工作冗余等诸多问题,在需求分析的基础上进行了完善的功能模块设计,并基于模块化的理念进行了架构设计,保证了系统的稳健性和复用性,利用WebGIS框架、java、ETL引擎等技术设计并实现了集数据资源池、预报订正、产品制作、产品、业务管理于一体的省市县公共气象服务平台,并在浙江省内等到了很好的应用,实现了气象数据和服务的高度集约、多源整合和三级共享,提高了业务制作水平,对气象服务拓展和产品质量的提升提供了重要的技术支撑。

关键词:气象服务;一体化;模块化;WebGIS

近年来气象事业发展迅速,各行业对气象服务的需求不断增长,对气象产品的要求也越来越高[1]。各级气象部门在公共气象服务和专业气象服务方面不断开拓创新,制作的气象服务产品日趋丰富,但这些产品大多分散在不同单位,甚至不同科室不同系统中,探索气象产品的集约化管理和一体化服务道路已是当务之急[2]。代青措,刘晓燕,马秀梅等[3]研究并构建了省市县一体化气象服务业务平台,提高了各级气象部门的气象服务能力。崔新强,唐俊,付佳等基[4]于“集约化、规范化、标准化”的设计理念建设了省级气象服务一体化平台,极大的提高了业务工作效率。浙江省气象服务中心为适应新形势下对气象服务的新需求,充分发挥业务平台在公共气象服务中的作用,以气象服务的集成化、专业化、规范化、一体化为原则,开发并研制了集数据资源池、预报订正、产品制作、产品、业务管理于一体的集成平台,实现了对气象服务的高度集约和多源整合。提高了服务产品制作和的自动化水平,提升了业务人员的产品制作效率和服务水平;基于多源的精细化数据制作的服务产品更为准确,以及丰富的产品表现形式提升了服务的质量;建立公共服务产品池便于产品的集约化、规范化管理,对于服务拓展和产品质量的提升具有重要意义。

1总体功能与系统框架设计

1.1系统总体功能设计。一体化平台的建设初衷旨在解决数据分散、管理不规范、平台功能零碎、业务人员重复劳动等现状问题,对其功能模块的总体设计必须立足整体、考量全面,实际解决业务需求。国内外对气象一体化平台的建设的研究已经初步去的进展。裴克莉,李清华,徐可文等[5]在现阶段公共服务不能满足气象服务需求的背景下,对一体化气象服务平台的建设进行了思考,本研究基于前人的经验和实际需求相结合建立了集一体化存储管理、查询、实况监测预警、产品制作与分发等多模块于一体的公共服务平台,平台功能全面,覆盖广泛,产品丰富,极大提高了业务人员工作效率。系统的总体功能图如图1所示,主要包括智能专业服务订正子系统、服务产品制作子系统、服务检验子系统、公共服务产品池和系统管理五大部分。1.2总体架构图。系统总体架构设计采用模块化的设计理念[6],通过有效的层级结构的划分实现各层级间的相互独立,系统模块间高内聚低耦合,提高系统的鲁棒性、复用性以及安全性。系统共分为五个层级,如图2所示。(1)运行支撑层,运行支撑层是项目搭建的基础保障,具体内容包含了网络系统的建设、机房建设、多媒体设备建设、存储设备建设以及安全设备建设等,通过全面的基础设置的搭建,为系统的全面建设奠定良好的基础。(2)数据资源层,将数据进行了有效的分类,具体包括气象观测数据、预报数据、产品数据和行业数据等,通过建立完善的元数据管理规范,透过数据平台将各种原始数据采集入库并解析成产品,从而更加合理有效的实现资源的共享机制。(3)应用支撑层,应用支撑层是系统建设的基础保障,根据需求进行面向浙江气象服务体系架构的设计,通过消息中间件、分发引擎、日志组件、WebOffice组件、身份认证、GIS引擎[7]等应用组件进行有效的整合和管理,各个子系统的建设可基于基础支撑组件的应用,快速搭建相关功能模块。(4)业务应用层,业务应用层包括智能专业服务订正子系统、服务产品制作子系统、服务检验子系统、公共服务产品池和系统管理。(5)用户层,用户层主要包括平台省级服务中心业务人员和系统管理员。

2关键技术

本项目采用跨平台程序设计[8],与软件系统、设备无缝连接,具有优良的互联互通性、可管理性、易用性和易维护性,性能指标和处理能力能够符合业务运行的要求[9]。(1)服务器系统:WINDOWSServer2008及以上、Centos6.5及以上。(2)气象数据采用Cassandra分布式数据库作为气象数据的主要存储系统。(3)采用Redis进行数据缓存(4)系统架构:采用B/S架构。(5)开发语言:Java、JavaScript、Python。(6)系统采用ETL引擎(数据采集、数据清洗等)、储存技术、数据解析、加工技术、预处理技术等与国省级数据无缝集成。(7)采用基于Kafka框架的消息总线中间件协调各个分系统间的数据同步、应用请求;(8)采用基于Html5新特性Canvas和WebSocket技术实现的WebGis框架[10]开发专业服务订正平台。(9)数据服务以WebServices技术为支撑,采用SOA架构,利用XML/JSON技术进行数据标准化输出。SOA[11]指的是面向服务的体系结构(ServiceOrientedArchitecture),SOA为松散耦合、基于标准和独立于协议的分布式软件设计模型,由独立可复用的服务构成系统功能,这些服务对外公布的意义明确的接口,该设计有助于外部系统的数据标准化接入[12]。

3平台核心功能与实现

3.1智能专业服务订正子系统。基于WebGIS平台,叠加多种行业数据进行直观显示,通过人机交互方式进行专业服务网格预报和站点预报的制作。实现高分辨率模式资料的获取、显示分析,提供基于等值线、网格、关键点等交互预报制作工具供于预报员进行背景场订正,并对不同要素之间的预报结果进行协同处理,最终输出网格预报产品。此外,系统集成了降水时间一致性、高低温极值订正等智能化客观预报方法,实现降水、温度、相对湿度等多要素的协同订正。3.1.1行业数据叠加。智能专业服务订正子系统支持各类行业数据[13](见表1)的叠加显示,对各行业数据记性矢量化处理后,基于WebGIS技术进行展示,为业务人员进行预报订正时提供基于点、线、面的资料参考。3.1.2专业服务网格预报制作。(1)高分辨率、多要素格点订正,系统支持0.05°×0.05°(可配置,制作不同的产品时有不同的默认配置)经纬格距,预报时效涵盖短时临近、短期、中期的降水、温度、风向、风速、湿度、气压、云量(可配置)等常规气象要素和灾害性天气落区预报订正制作;产品可以实现色斑图、网格值、等值线等多种显示,数据实时刷新。(2)岗位任务协同,不同用户或岗位登录后,根据岗位任务内容,默认可订正的气象要素与预报时次不同,并可灵活配置,可以有效的进行任务分工,并避免不同岗位之间的操作失误。(3)格点订正引擎,通过格点订正引擎进行交互订正,订正工具包括等值线平移、等值线修改、平移圈定的区域值、中心点向外递减与原值相加、区域设定等,支持操作的撤销、重做。支持本地化工具二次开发,便于预报员客观方法的接入。3.1.3专业服务站点预报制作。基于“临近距离最短优先,相同距离东北优先”原则,后台自动从格点化预报生成站点预报,主要用于气象服务中心进行专业服务预报订正和制作,支持站点要素订正工具,支持错误检查(主要是高低温,天气现象与气温的匹配等)。支持本地客观方法的接入功能。3.1.4多要素协同。实现多要素关联约束机制,建立要素一致性处理技术方法,协调天气现象、降水量、云量、相对湿度等不同气象要素可能出现的预报不一致的现象,实现订正一种要素后的多要素协同修正。实现要素时空一致性,对过程总量、单一时效预报、落区中心强度和关键点订正后,基于模式输出产品的时空分布关系,将订正值合理进行时间和空间插值。协同按照该顺序进行,执行至每个节点时会调用相应的算法进行数据协同,直至完成。为方便调用,平台内置部分常用的协同结构树,如1h降水量累加至3h、6h、12h、24h降水量的树,当需要进行降水量的累加时,只需将该树加人相应的节点即可。当根要素数据发生改变时,触发整棵树的协同,协同方向为从上到下,从左到右。3.2服务产品子系统服务产品子系统主要是基于word和txt类文本产品的素材管理和模板配置,支持图形产品的交互制作,实现对各类服务产品的任务监控、素材制作、产品生成、二次订正和一键。3.2.1分类管理。分类管理是为“日常服务制作”模块中素材制作提供模板维护管理的模块。通过树形菜单创建素材分类,创建后默认标签名为素材分类名称,可在分类内容中填写文字内容,也可通过“工具箱”将网格预报的素材标签插入文本框中。标签工具箱可选择经纬度、站号、类型、模式、要素、起报时间、时效/时段、要素处理符、数值处理符,生成格式化的素材标签。所创建的素材分类可在“日常服务制作”模块中的素材制作中显示。在日常服务制作中新建,则会将预先配置好的素材标签,根据预报数据转换为文字信息。3.2.2模板管理。模板管理是为“日常服务制作”模块的提供产品模板维护管理的模块。模板的格式类型主要包括txt文本模板和word模板。主要功能模板创建、方案创建、模板内容编辑、制作时间设置、产品名设置、渠道设置。3.2.3产品制作。为了减少业务人员的重复劳动,提升平台的自动化水平,综合业务结构和用户需求,产品制作模块共分为三个模块。(1)日常服务制作模块,通过素材制作和模板配置,能够快速生成服务产品,经由用户使用编辑工具在线对文档进行二次订正,实现日常服务产品的智能化制作与一键分发。(2)专题气象服务,不同于日常预报服务的任务,具有针对性强、个性化突出的特点,实现气象服务社会经济效益的最大化。如水库的调度在重要节假日和重大活动情况下,对天气预报,包括天气现象、高温、低温、风向风速等要素预报尤为重视。(3)图形产品制作,基于WEBGIS平台,充分利用气象实况数据和预报数据进行统计分析,实现要素图的智能化生成订正,各类要素统计数据的列表导出;利用模式预报数据进行风险图的智能化生成订正;通过图例设置、背景控制、区域切换等功能,满足多样化、个性化、自由化的实况图、预报图和风险图制作。3.3公共服务产品池。采用B/S架构、模块化设计思想构建全省气象服务产品池,实现省、市、县三级气象部门的气象服务产品汇集、浏览、检索和审核功能。3.3.1产品汇集。公共服务产品池包括非结构化的文档类产品,包括WORD文档、TXT文档、图片、语音、视频等,通过建设不同类别的文档产品库进行存储,数据库表只储存文档的名字和路径等索引信息。非结构化文件类产品共享主要通过文件夹共享和FTP共享。通过定时任务定时扫描共享文件夹,发现新产品后自动读入服务器文档产品库中,同时将产品索引信息写入数据库表。为了保障省、市、县三级服务产品的规范性和统一性,对所有文档类产品、图形化产品、视频类产品等进行了统一规范命名和上传路径的目录创建。3.3.2产品检索。通过产品检索界面,提供省、市、县三级所有气象服务产品、视频、图片等气象资料信息的快速查询。支持模糊查询、精确查询、组合查询,支持区域、要素、制作单位、产品格式等联合查询方式,查询结果按入库时间的顺序和倒序排列。查询项支持历史查询的再生成,一次查询后,根据查询结果可进行二次查询。显示查询结果的总条数,可以设置每页显示的条数。3.3.3产品浏览将。所有气象服务产品资源按照省、市、县三级进行不同类型的分类展示,资源组织按照树形目录结构。系统对服务产品资源展示设置访问等级,某些资源目录针对部分权限用户开放。用户选择要查看的气象服务产品,可在线浏览产品的详细内容,支持产品下载功能。3.3.4产品审核。支持对省、市、县三级上传的服务产品进行审核,审核通过的产品进行入库。在审核页面显示待审核的产品列表,支持根据部门、产品类型、上传时间等字段的查询显示和排序选择。通过查看产品的详细内容进行人工判断,对产品进行是否通过的审核进行操作,根据审核结果产品进行标记并存入相应路径。

4系统应用效果

浙江省省市县公众气象服务一体化平台于2018年正式投入运行(如图7所示),浙江省气象服务系统的自动化和集约化水平得到了极大的提高。省市县三级的数据实现了共用共享,优化了气象内部的数据管理机制,解决了以往数据对接困难,共享不及时的等问题,提高了各类数据融合使用的可能性,创造了气象书记迸发无限生机的机会;业务人员通过一体化平台的多要素协同、流程规范、用户权限设定、工作留痕等智能化方案,简化了工作人员的日常业务工作流程,避免了以往存在的重复劳动多的情况,并且降低了出现差错的几率;实现了业务工作的可视化管理,有利于提高气象服务的业务管理水平、优化业务工作的质量考核机制。

5结束语

浙江省省市县公共气象服务一体化平台的开发解决了浙江省以往数据共享难、不及时以及业务平台零散、业务共总冗余等诸多历史遗留问题。平台集成了智能专业服务订正子系统、服务产品子系统、公共服务产品池等多个功能模块,系统高度集成化、低冗余并且人机交互友好,对于提高浙江省的公共气象服务的水平提供了重要的技术支持,对于其他开展相关工作的省份也具有重要的借鉴作用。随着气象系统的发展,业务流程也面临着更新迭代,系统接下来需要应对这些变化进行升级优化,能够支持业务流程的灵活性配置等功能。此外,未来气象会服务更多不同的行业领域,应对新行业新领域的新需求,系统接下来还需要不断进行功能拓展和完善,为气象服务提供强有力的支撑。

作者:王伟 陈加利 陈冲 李俊徽 单位:浙江省气象服务中心