数理平台十篇

时间:2023-03-31 22:56:57

数理平台

数理平台篇1

[关键词]地理信息数据库,公共平台

前言

2006年,烟台被国家测绘局列为全国“数字城市地理空间框架示范项目”首批六个试点城市之一。经过三年努力,基本建立了全市“一张图”、一个共享平台和一个服务机构。烟台市地理空间信息公共平台的建设与运行从根本上改变了我市基础地理信息的传统服务方式,从提供数据到提供在线地理信息服务,对提升我市地理信息公共服务能力、发挥全市地理信息资源的最大效益、促进地理信息的深入广泛应用具有重要作用,意义十分重大。烟台市地理空间信息公共平台通过三年的实践,建立了一套基础地理信息数据库系统,研制了一个地理信息公共平台。分示范应用和推广应用两个阶段,构建了面向城管、公安、房管、国土、应急办以及公众等几个领域的专题应用系统。

1 基础地理信息数据库

烟台市基础数据管理系统是以地形数据为基础的多比例尺数据、动态、管理应用系统。该系统能动态、统一管理烟台市多比例尺的基础地形图数据、CAD源数据、影像数据、元数据,可以满足对基础地理数据的管理、应用和的需要。

在对国内多个城市空间数据建库的经验总结的基础上,开发了一套基于知识规则的城市空间数据库构建工具,把人的经验变成了知识规则,把依赖于人的责任感变成了通过计算机技术可以量化、可以监控的监理程序,在智能接边算法的支持下,开发了自动批量入库程序,

其特点为:

1.1 标准化数据生产:

针对烟台市基础数据多比例尺、多数据源的特点,标准化数据生产。制定了《烟台市大比例尺地形建库标准》,以及基于该标准的规范化的数据生产工作流。

1.2 自动化数据监理:

针对标准化生产所产生的数据,开发了可嵌入式、也可独立运行的监理程序,可对不同的数据源进行数据的拓扑、属性、接边、元数据监理,并提供监理结果的处理方式。

监理过程完全自动化,无需人为参与;监理内容可控、可调,能适应不同数据质量水平的监理需求。

1.3 流程化数据入库:

将数据入库过程流程化,系统能根据数据情况自动入库或提供数据异常报警。

相对与以往的建库系统入库模块,烟台市基础数据建库系统具有的入库模块具有以下几个特点:

提供多比例尺、多数据源入库工具

入库同时可选择性的进行接边、基本监理、错误管理、历史库管理

可将入库数据与版本和工程信息进行挂接,满足数据业务管理需要

2 公共平台展示

数字烟台地理空间公共平台的建设原则是权威部门维护权威数据、地理空间数据与专题数据分布式部署于烟台市政务网的各个节点,各部门在应用地理信息开展业务时实时的通过政务网从公共平台的服务器调取地理信息,从本部门服务器调取专题数据二者集成辅助业务决策。

共享交换平台是有各个相互关联的子系统搭建而成,建成后即能满足对外共享基础数据的需要,对于相关应用单位来说还能根据平台提供的标准OGC、API 的接口快速的定制和研发各自的应用系统,并充分的利用平台的共享交换数据,使得各类数据有效的利用和开发。

共享平台一共包括“烟台市地理空间信息公共平台空间信息服务系统”、“烟台市地理空间信息公共平台图层定制系统”、“烟台市地理空间信息公共平台展示系统”、“烟台市地理空间信息公共平台运营支撑系统”、日志系统、TileServer(为图片引擎的调用提供API)六个子系统。

2.1公共平台展示系统: 充分展示共享平台中所有的数据资源,以及在这些数据资源基础之上开发的各种服务。公共平台展示系统完全基于“服务+适配器+ Open API”的方式开发,体现了以服务聚合实现快速开发的思路。

公共平台展示系统还提供数据查询、数据统计、全文检索、空间分析功能

全文检索就是在整个数据系统中检索输入的关键子段,如果有数据存在的话,则在右边的查询结果栏中以列表的形式展示出来,点击其中的某条记录,便可在地图上标识出它的具置。

地址编码包括地址查询、定点查询和周遍查询

空间分析主要为缓冲区分析,包括点、拉框、圆形、多边形缓冲区分析

数据统计可以将选种要查询出数据,以饼图或柱状图的形式展示出来

2.2 空间信息服务系统:由一个服务聚合容器和一系列的空间引擎构成。对外表现为目录服务、WMS、WFS、遥感影像、地址匹配、导航服务、符号库服务等十几个相互独立的元服务。

“元服务” 方式:元服务严格符合OGC WMS/WFS及其他相关标准,并对其扩充,提供标准底层开发接口,开发自由度高,长期保持不变。对熟悉GIS开发人员适用。

“服务适配器+Open API”方式:重点解决用户快速搭建业务系统问题,通过调用API实现所有操作、转发、解析,二次开发用户只需配置,不必关注具体实现方式,把主要精力放在业务内容上,对不熟悉GIS开发的人员、且要求快速搭建业务系统的情况适用。

2.3 运营支撑系统:统一管理构成共享服务平台的各个系统的帐户信息,查看、分析各服务接口的访问日志,配置、监控、启动/停止服务。

本期平台建设对运营支撑的最大改进在于:实现了服务集群中各服务器的集中管理。在系统中可把集群中的所有服务器添加进来,在一个系统中,完成所有服务器的服务配置、监控、启动与停止。

2.4图层定制系统:是与海量矢量图层引擎相配合的系统,实现自定义图层服务,以及个性化的图式图例。

正如委办局的业务系统一样,该系统本身是基于WMS、WFS、符号库服务和图片引擎服务完成的。这种开发方式从侧面体现了基于共享服务接口搭建系统这一理念的无穷魅力。

2.5日志管理:主要包括对服务器访问日志、共享管理日志、数据管理日志、安全管理日志、系统监控日志、系统在线日志、异常日志的查看。

2.6 TileServer图片引擎系统:该系统没有具体的界面,它主要是为图片引擎服务的调用提供JS API,用户调用服务时不用具体知道接口的内部实现,直接调用即可。

3 示范应用

地理空间信息公共平台建成后,我们选择城管、房管、公安、国土、应急办五个领域开展示范应用建设工作,以发挥应用效果、探索应用模式、形成应用机制。

城管应用:烟台市城市管理局建成的“数字化城市管理信息应用系统”采用信息化技术手段,网格化管理模式是建立城市化管理联动新机制,提升城市管理科学水平的有效手段,基于全市统一的地理信息公共平台,城管局建立了数字化城市管理信息系统,实现了城市的精细化管理。

数理平台篇2

一、数字媒体内容管理平台的概况

数字媒体是指数字化内容的产品,是在网络技术基础上,通过健全服务系统实现终端和用户之间的信息联通,并且有着传播者多样化,传播内容复杂化,传播渠道互动性强,受传者个性化明显的特点。在此基础上去了解数字媒体内容管理平台:在网络技术,数字技术和多媒体技术的基础上,给予用户提供数字文化产品和服务的行业,其辐射到信息服务,广告通信,传播娱乐,影视动画,出版教育等领域的信息管理性系统平台。

二、数字媒体内容管理平台需求分析与总体设计思路

1.数字媒体内容管理平台需求分析

在非结构化和数据信息内容不断增加的背景下,用户对于数据信息内容的处理,往往都需要在完整的管理系统平台上进行。因此,积极对于数字媒体内容管理平台的研究意义主要体现在以下几个方面:其一,数字媒体内容管理平台作为早期媒体资产形式,可以在统一管理的环境下,实现各种内容的聚集,分类,存储,转码,。其二,以元数据操作为基本手段,去发挥数字媒体技术的效能,就需要处理好元数据标准的研究和制作,在内容管理方式发生变化的时候,媒体资源的创建过程,存储过程,检索过程也会发生变化。其三,数字媒体的发展,需要健全的配套技术体系,尤其在数字媒体内容管理相关理论不健全的背景下,高度重视数字资源管理的规范化发展,显得尤为必要。

2.数字媒体内容管理平台设计概述

(1)数字媒体内容管理平台开发目标

数字媒体内容管理平台设计需要系统开发工具和目标,需要设计规范和标准,需要系统设计理念。详细来讲,首先,选择系统开发工具,确定平台开发的基本目标。一般情况下主要集中在以下几个方面的内容:其一,管理平台重要部分的再次提取;其二,管理平台的模块化设计工作;其三,以Spring框架为基础的,模块融合过程;其四,最终框架的构建。希望在上述设计步骤的基础上,使得数字媒体内容管理平台能够实现以下效能:首先,具备良好的系统框架平台,表现出低耦合,分层处理和模块化的特点;其次,表现出良好测试结构,保证能够对于测试用例完美适应;再者,在J2EE构架思想基础上实现框架平台构建,并且展现出组建化,重用性强的特点;最后,保证接口良好,发挥系统框架平台的效能,即使面对不同的接口,也可以保证过数据输入和输出过程的顺利进行。

(2)数字媒体内容管理平台设计规范和标准

首先,数字媒体内容管理平台设计过程中,以Spring配置文件为框架,实现各个模块之间的融合。一般情况主要可以归结为以下几个方面的内容:其一,主配置文件;其二,数据源和配置;其三,javabean配置;其四,CXF框架Webservice;其五,日志框架配置。其次,还需要注意命名规范的问题,主要涉及到类别,接口,方法,JAR和包的命名规范。对于类别和接口的命名,会选择以驼峰命名的方式来进行;对于方法的命名,也会选择驼峰命名的方式;对于JAR包主要会选择以模块化的方式来命名。再者,关注类与方法设计规范。立足面向对象的基本设计思维,做好自己的处理,展现出类之间的依赖关系,从接口方式和解耦的角度入手去进行处理,对于可重用的逻辑,以方法来进行封装,避免出现重复逻辑的情况。

3.数字媒体内容管理平台设计

从系统分层架构来讲,主要涉及到接口层,服务层次,数据层,基础架构层等层次,在此基础上形成总体结构。整个内容管理平台是在J2EE的基础上实现的,在其中运用到很多这样的设计模式,对于实现内容管理平台效能来讲,是很有意义的。具体来讲,其主要涉及到如下的几个模块:其一,基础接口模块,关注的是现有数据结构访问;其二,日志接口和事件发送模块,关注的是运行过程中的日志跟踪,为后期的开发工作打下基础;其三,协议转换模块,作为管理平台的核心部分,其关注的是交互过程中的信息转换,是信息出库的过程;其四,临时实体处理模块,关注的是实体的各项操作,转换,保存工作;其五,系统注册服务,关注但是数字媒体内容管理与其他系统之间的互动问题,保证系统注册服务的合理性,是实现其最大效能的关键所在;其六,流程处理模块,是以FIFLOW为基础的,关注的是文本接口不同方法的采用,保证形成有序的运行流程。

数理平台篇3

【关键词】云平台;数控机床;权限管理

目前机床权限主要包括程序编辑权限和参数设置权限,前者以FANUC数控系统为例,可通过机床上的钥匙开关限定加工程序的增加、删除与修改操作,后者以Siemens数控系统为例,通过键入权限密码SUNR工SE,CUSTOM等,访问或更改机床数据。数控机床属于贵重的机电设备,一般只有经过特定培训的人员才允许操作机床。通过操作权限的管理,确保授权员工才能操作机床,是智能化车间发展的要求。公开号为CN103869775A提供了一种由控制计算机、西门子PLC、按钮、工C卡读卡器、身份卡、贴条形码的数控机床、条码扫描枪以及数控机床控制器的一种数控机床智能化管理方法。该方法没有涉及权限定义的方法,也没有公开对于具体模型权限检查的方法。华东理工大学姚晓初采用一种管理人员在PC端配置好权限管理文件,通过网络发送给机床,然后机床进行用户的身份验证,得到该用户的权限等级,然后进行运行的方法。但是该论文提供的方法中,机床仅读取从PC机发送过来的文件进行用户和密码的登录信息匹配,而没有添加新用户功能。针对以上问题,本文提出一种基于云平台的数控机床管理方法,开发面向数控机床权限管理的云平台,利用云平台进行数控机床操作权限管理,实现动态的、可移动的权限管理模式。

1面向数控机床权限管理的云平台结构

面向数控机床权限管理的云平台由机床管理数据库、机床用户管理模块、机床权限管理模块、机床权限查询模块、系统管理模块和机床数据接口所组成,如图1所示。机床数据接口用于实现数控机床的数控系统与云平台进行通讯,数控机床通过机床数据接口得到权限等级定义数据,存放在数控机床的数控系统中;机床用户管理模块用于进行用户注册功能,新用户可以通过该模块在机床管理数据库中添加用户;机床权限管理模块用于管理人员对机床用户操作机床的权限进行设置,并且把这个信息存放到机床管理数据库中。机床权限查询模块是用户在数控机床上进行操作的时候,由数控机床发起的对用户操作权限查询的模块,该模块接受查询请求,返回相应的信息;系统管理模块用于将数控机床的机床基本信息和权限设置信息通过机床数据接口导入到机床管理数据库中,还用于添加和删除管理人员信息,如图2所示。

2数控机床操作权限管理示例

数控机床在出厂前通过云平台的机床数据接口得到该数控机床的权限等级定义数据,存放在数控机床的数控系统,通过以下方法实现基于云平台的数控机床操作权限管理:A用户在数控机床的数控系统上输入用户名和密码,数控该系统通过机床数据接口发送该机床ID、用户名、密码,以确认用户是否有效;B机床权限查询模块验证该用户名和密码是否匹配;若不匹配,则向数控机床反馈用户登录失败信息;若匹配,则进入步骤C;C机床权限查询模块进一步通过机床ID验证用户是否在该数控机床具有操作权限,若没有操作权限,则向数控机床反馈该用户无操作权限;若有操作权限,则进入步骤D;D数控机床通过其数控系统显示登录成功信息和用户权限顶级信息,用户可以继续操作该数控机床。E用户访问数控系统中的某个菜单或功能按钮时,通过机床权限查询模块进一步查询用户的操作权限中是否包含这个功能;若否,则提示无权访问;若是,则执行步骤F;F用户可以访问该功能,进入相应功能界面,如图3所示。

3总结

本文提供的基于云平台的数控机床管理方法,利用云平台定义机床操作功能和权限等级对应关系,定义操作人员和机床操作权限等级的关系,进行数控机床操作权限管理;另外,操作员工还可以在不同机床上登录,获取相应的操作权限,实现动态的、可移动的权限管理模式。

参考文献

[1]CN103869775A一种数控机床智能化管理方法.

数理平台篇4

关键词:Hadoop;大数据;网络流量;数据存储;异构

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2017)05-0007-02

Abstract: For the security problem of massive network data, this paper uses the fuzzy K- algorithm and Naive Bayesian classification to build a joint classification algorithm, and Mahout technology to achieve classification algorithm on the MapReduce framework of parallel computing, the original network traffic data for feature extraction, the establishment of the corresponding model and training, and then use the joint classifier to determine the abnormal traffic, so as to achieve a comprehensive network anomaly traffic detection, improve the security of massive network data processing platform.

Key words: Hadoop; big data; network traffic; network security; parallel computing

1 概述

安全题是制约云计算技术发展和普及的一个重要问题。虽然研究人员已经开展了许多针对云安全问题的研究工作,但在引入了移动互联网的海量网络数据处理业务后,现有的基于Hadoop的云计算平台仍需要加强对数据流的安全检测。

传统的入侵检测技术在云计算平台中具有很大的局限性,由于虚拟化技术和分布式计算技术的应用,传统的基于网络的入侵检测技术无法对虚拟主机进行有效检测,而基于主机的入侵检测技术也无法检测出黑客的网络攻击。同时,传统的入侵检测技术在检测{速海量的网络数据流时,其检测效率往往不够理想和准确。同时,当前越来越多的网络攻击行为使用了将信息隐藏在网络报文中,许多木马病毒都需要通过流量检测才能识别。

基于Hadoop的海量网络数据处理平台处在网络环境中,它需要实时接收采集到的海量数据流,同时在平台的应用层,它需要为各类数据用户提供大并发量的数据访问接口。该平台的网络安全具有对异常流量进行快速检测和检测高准确率的要求,而传统的网络安全技术,例如数据加密和安全认证等,已无法解决该海量网络数据处理平台的安全问题。因此,针对海量网络数据处理平台的架构,除了配置传统的网络安全设备,包括防火墙、网络、入侵检测等设备外,还需要对海量数据流检测技术应用于海量网络数据处理平台进行研究,主要包括提高检测准确率和处理速度两个方面进行考虑,开展相关的研究工作。

2 云计算安全问题分析

2.1针对云计算的网络攻击技术研究

云计算用基于网络的服务模式,并根据用户需求向用户提供其所需的各类软硬件资源和数据信息[1]。代表产品有Amazon的EC2、IBM的BlueCkmd、谷歌的App Engine等[2]。基于Hadoop的海量网络数据处理平台也存在网络接口用于平台管理和数据流的接收存储,这与现有的大多数云服务类似,均需要在互联网中为用户提供服务。同时近年来,针对网络中云计算集群的攻击[3]也在急剧增加。目前针对云计算的攻击主要包括非法访问、云平台漏洞攻击、滥用权限攻击、云计算环境基于主机或基于网络的攻击、进程劫持等几种情况。

2.2云计算环境的异常流量检测技术分析

针对云计算的安全问题,研究人员已经进行了很多研究工作,许多云安全技术已经被有效地应用到各种云计算应用场景,包括云网络防火墙、入侵检测系统的设计与部署。然而,传统的入侵检测技术初始设计主要针对物理网络的防御,而且一般只是对单一的网络或者对象的检测而云计算的环境极其复杂和多样化,它具有跨地域、异构化、虚拟化等特点,使用传统的入侵检测技术已经无法满足云计算的信息安全防护需要。因此,研究人员提出了许多适用于云安全的入侵检测技术,已用研究成果表明,目前对云环境中兼具基于特征的检测系统和基于异常行为的检测系统二者优点的网络入侵检测方法有着迫切的需求。

在前人研究的基础上,本文针对云计算环境的特殊性,设计更加高效和快速反应的云安全的网络安全检测系统,提出了一种基于分类器联合的分布式异常流量检测技术,该技术基于Hadoop的MapReduce运算机制,并作为海量网络数据处理平台的一个模块。其功能是对云平台网络出口流量进行快速检测,定位出其中的异常流量。该技术对网络流量数据采用基于流统计特征的流量检测,并使用历史的真实流量数据对分类器进行训练建模,再将新集的数据与模型匹配分析,再基于多种分类算法联合检测的方式,判定检测的数据流是否正常,达到高效和实用的目的。

3.基于分类器联合的分布式异常流量检测技术

3.1框架说明

本文提出的基于Mahout技术的分布式异常流量检测技术,基于模糊K-均值和朴素贝叶斯分类算法,使用检测探针在海量网络数据处理平台的网络出口位置对流量数据进行探测分析[4],可以实现对大型云计算平台的网络流量近实时异常检测。

不同于传统研究中使用的入侵检测技术,本文提出的异常流量检测计算,以流记录的形式在HDFS中存α髁刻卣鳎并基于Mahout技术在MapReduce框架中对其进行快速分析处理,实现流量记录的存储和高效的异常流量检测。采用对数据流检测的方式,比数据包解析的效率高,不涉及用户隐私。本文提出的异常流量检测技术是一个适用于实际云计算环境的整套解决方案。同时,配合网络硬件监测设备,该系统可以适用于各大数据中心的异常流量近实时检测。结合云存储的相关技术,可以实现网络流量的存储及再分析。

3.2分类算法选择和实现

基于分类器联合的分布式异常流量检测技术基于Hadoop的MapReduce运算机制,并作为海量网络数据处理平台的一个模块,实现对云平台网络流量的检测和异常流量的判定。该技术算法在设计时充分考虑了实用性和高效性,并且已经有相应的成熟软件运行在测试网络的中心服务器上。算法的基本思想是,利用历史测量数据构建训练模型,对新测量数据与模型进行匹配,利用串联式多级判别算法来判定新测量数据是否是异常数据。基于历史流量数据构建模型并进行训练,然后进行该模型对检测到的流记录进行判定分析。本文使用模糊K-均值和朴素贝叶斯分类算法联合判定的方法来对流量数据进行综合判定,并基于Mahout技术实现分类算法在MapReduce框架上的大数据分类计算[5]。

模糊K-均值算法是一种常用的聚类算法,它是在K-均值的基础上将分类进行模糊化处理。其基本原理是通过从原始数据中提取出K组的模糊矩阵再计算出最允嫉木劾嘀行南蛄烤卣蟆H缓笤偻ü特定的目标函数,使用多次迭代的方法找到最合适的分组和中心,使得目标函数最小,并按照最大隶属的原则进行分类。在处理大数据时,模糊K-均值算法具有较高的效率和伸缩性,适合本文中对海量网络数据流的处理。

贝叶斯分类器是基于贝叶斯定理构建的一种统计学分类器,它可以用于预测某个数据样本属于某个类别的概率。贝叶斯分类器的一个重要应用是针对海量数据的分类,其具有较高的性能和准确度。

Mahout是一个运行在Hadoop上的用于进行数据分析和机器学习的分布式软件框架,它用MapRechice机制实现了一系列可扩展的数据挖掘算法,包括逻辑回归算法、贝叶斯分类器、隐藏马尔可夫模型、K-Means聚类算法、最小哈希聚类算法、奇异值分解算法等等[129]。同时,Mahout作为Apache基金下的开源项目,当前有众多研究人员对其进行扩展和完善,其支持的算法也越来越多,如神经网络、向量相似度、主成分分析等等。

3.3分类器联合判定算法

不同的网络应用业务的流量特征有着很大的区别,本文根据流量统计特征指标来对海量网络数据处理平台的流量进行检测,并基于Mahout技术对流量记录进行快速分类,检测其中的异常流量,提高海量网络数据处理平台的安全性。首先使用流量统计特征指标选择技术来找到上述特征指标中识别度最高的一组集合,然后再使用分类器对其进行学习训练。在选取流量统计特征指标时,如果某个指标可以反映出分类的属性时,则该指标为有价值的指标。在实际的特征选择中,数据的特征指标往往存在着许多冗余,甚至是无价值的指标,因此本文在选取有价值的特征指标时,需要选择出其中与数据分类相关性较大的指标,同时需要保证选取的特征指标之间没有相关性,即指标之间无法彼此预测。

联合判定算法用计算当前流量统计样本与历史数据样本临近度的方式来进行分析,综合了模糊K-均值和朴素贝叶斯分类构建的模型,具体包含两部分,对历史数据的离线学习和对流量数据的在线分类。同时,为了验证联合分类算法的准确性,可以在后续使用集到的样本流量数据进行实验分析。计算方法如下,读入某数据流的统计信息,经过数据预处理后,获取数据流的特征指标值,按照流量为异常和正常确定分类数,并初始化聚类中心点,计算其与各类别样本所有聚类中心点的欧式距离和隶属度值,重复运算直到各个样本数据的隶属度值稳定,则判定出样本数据是否为异常流量。然后利用训练后的朴素贝叶斯分类器,对其进行异常判定。最后联合模糊K-均值和朴素贝叶斯分类器,对该数据进行最终的异常判定。模糊K-均值算法是无监督的分类算法,朴素贝叶斯分类器是有监督的分类算法,结合有监督和无监督的分类算法,可以避免单一算法的缺陷,较为全面的对网络流量进行异常检测。

4 结论与展望

本文提出一种应用于云计算平台的异常流量检测技术,该技术基于MapReduce技术的异常流量检测技术,通过用分布式并行计算模式来对数据进行处理,可以实现对海量数据流的高效检测,避免传统入侵检测技术的效率问题;该技术引入了特征选择技术,从流量数据中提取有价值的流量分类数据,为后续更加有效地检测出异常流量提供帮助;该技术基于分类器联合的检测技术,模糊K-均值算法是无监督的分类算法,朴素贝叶斯分类是有监督的分类算法,通过结合有监督和无监督的分类算法,可以更为全面的对网络异常流量进行检测,以提高海量网络数据处理平台的安全性。

然而,云平台的安全性涉及系统、服务器、网络、用户等多方面的内容,因此对云平台进行安全保障工作时,除了部署传统的安全防御设备外,还需要进行全面的考虑,并针对不同的云平台应用场景,构建完善的网络安全防护体系,是在本文基础上需要进一步研究和深化的主要问题。

参考文献:

[1] Annbrust M,Fox A,Griffith Ret al.,A View of Cloud Computing, Commun Acm, 2010 , 53 ⑷:50-58.

[2] Bhardwaj S,Jain L,Jain S,Cloud Computing: A Study of Infrastructure as a Service (IAAS),International Journal of engineering and information Technology, 2010,2 (1): 60-63.

[3] Zissis D, Lekkas Ds Addressing Cloud Computing Security Issues,Future Gener Comp Sy, 2012, 28 (3): 583-592.

数理平台篇5

神州数码信息服务集团集成服务战略本部(以下简称神州数码集成服务SBU)一直秉承以客户为中心,以服务为导向的理念,长期为中国行业客户提供先进的IT系统规划、设计、解决方案集成、运维和业务流程外包等整合IT服务,并前瞻性地推出覆盖IT全生命周期的锐行服务品牌,在服务产品化与品牌化的道路上走在国内IT服务商的前列。

为解决汽车运营行业在车辆调度与管理等方面所面临的困境与挑战,神州数码集成服务SBU具有多年的行业经验和技术积累,结合移动通信网络、GPS等技术,推出了锐行服务车辆调度监控服务SaaS平台(简称锐行服务SaaS平台)。锐行服务SaaS平台以APTS的核心研究领域和应用为基础,采用标准接口协议和规范,支持各种主流车载外设终端设备,是一套拥有先进GPS自动车辆定位技术和优化调度算法的城市级智能运营调度应用系统,主要面向公交与汽车管理、租赁企业。

目前,锐行服务SaaS平台系统按照分布式集中架构部署,可满足公交、物流、长途、出租及公务车辆等多种车辆运营行业的不同需求。

准确定位 即时监控

车辆的准确定位与实时监控一直是帮助车辆运营单位顺畅管理行驶车辆的理想手段之一。

锐行服务SaaS平台系统在车辆监控定位方面,支持GPS、GPRS/CDMA基站定位、路标定位等定位手段,以及精确的数字地图及专业的地图服务,为公交系统提供了多种定位监控选择。在调度中心采用锐行服务SaaS平台监控定位系统后,公交调度中心大屏幕将即时显示公交车辆的运行状况。同时,中心调度人员可实时监视所有受控公交车的具体运行位置、运行轨迹、行进速度及方向等有效信息。

锐行服务SaaS平台系统可通过GIS(地理信息系统)在地图上形成一个与所有交通系统相关联的多层次、 多路径、 多节点的路网、线网、节点网络,建立以公交信息为主的矢量电子地图数据库、关系数据库等多平台多数据库的集成,具有较强的交通网络系统的空间分析与空间数据处理能力,可为城市公交未来的管理、发展与规划提供有效决策支持和科学依据。

运营组织 合理调度

运营组织与调度管理系统是公交和车辆运营企业的核心业务应用系统,主要包括运营管理、调度计划管理、配班计划管理、技术安全服务管理等业务功能。

我国公交系统一直采用三级调度模式,管理分散,缺乏对不可预见性拥堵等突发事件的紧急调度与梳理能力。锐行服务SaaS平台系统凭借基于ITS的规范设计,以调度业务为主线,具备运营管理、调度计划管理、配班计划管理、技术安全服务管理等业务功能。此外,锐行服务SaaS平台实现与其他公交业务系统的应用集成和数据共享,可充分利用公交资源编制科学合理的行车时刻表、车辆使用计划等,并可满足三级调度模式向二级模式转变的需求,提高运营管理效率。

实时调度 运筹帷幄

众所周之,交通拥堵从常规来看分为高峰拥堵、天气性拥堵和不可预见性拥堵三种。对于公交行业来说,管理中心如何在客流增加、拥堵出现时实时了解运营车辆位置,快速制定出合理行车线路,并进行实时调度一直是个难题。

锐行服务SaaS平台现场实时调度系统采用先进智能的调度优化算法及GPS、基站定位和无线通信传输等功能,可实现对车辆实时运行情况的监控和调度。调度人员通过锐行服务SaaS平台可根据车辆实时运行信息,进行快速合理地现场调度指挥,改变传统的单一计划调度和手工调度的落后模式,合理优化公交运力和资源配置,提高公交运营调度效率和服务水平。

数理平台篇6

关键词:数字农业;时空推理;专家系统

0引言

数字农业应用涉及大量的气象、环境、水文、地质、土壤等领域的时空数据。这些时空数据分散在异构系统中,有着不同的数据格式和规范,采用不同的概念和术语,基于不同的数学模型和分析推理方法。这些多领域时空信息对农业生产、决策均起着重要作用。但是以前由于缺乏高效、合理的技术手段,即使付出很高的代价,也很难将这些时空信息完整无损地共享和融合集成到数字农业应用中,在很大程度上制约了数字农业的应用发展。同时gis等商业软件平台成本较高也不利于大规模应用推广。

为此,本文基于自主版权gis、专家系统等系统软件,应用时空推理、本体论、语义web、关系数据挖掘和专家系统等技术,建立一个数字农业时空信息智能管理平台,对多源、异构的数字农业时空数据和推理分析方法进行集中统一的规范化管理,便于在实际应用中进行融合、集成和共享。基于该平台快速建立起了数字化测土施肥系统、大豆种植标准化管理系统、无公害水果蔬菜栽培指导系统等一批智能应用系统。这些应用系统精确控制农田每一地块种子、化肥和农药的施用量,在提高作物产量的同时,能够实现精确控制农业生产过程,有效降低成本,充分保证农业资源科学地综合开发利用,减少和防止对环境和生态的污染破坏,保持农业生态环境的良性循环,是实现“绿色农业”的重要途径。

1主要关键技术研究现状

1.1数字农业

数字农业是在“数字地球”的基础上提出并发展的,是21世纪新型的农业模式和挑战性的国家目标,包括精准农业、虚拟农业等内容,其核心是精准农业。以3s技术应用为核心的数字农业空间信息管理平台开发研究是数字农业研究的突破口[1,2]。美国于20世纪80年代初提出数字农业的概念,它是针对农业生产稳定性差、技术措施差异程度大等情况,运用卫星全球定位系统控制位置,用计算机精确定量,把农业技术措施的差异从地块水平精确到平方厘米水平,从而极大地提高种子、化肥、农药等农业资源的利用率,提高农产量,减少环境污染。法国农业部植保总局建立了全国范围内的病虫测报计算机网络系统。日本农林水产省建立了水稻、大豆、大麦等多种作物品种、品系的数据库系统。新西兰农牧研究院利用信息技术向农场主提供土地肥力测定、动物接种免疫、草场建设、饲料质量分析等各种信息服务。同时,我国紧跟国际研究的前沿,开展了系统工程、数据库与信息管理系统、遥感、专家系统、决策支持系统、地理信息系统等技术在农业、资源、环境和灾害方面的应用研究。

1.2时空推理

近年来,时空推理(spatio-temporal reasoning)已成为十分活跃的研究方向,在军事、航天、能源、交通、农业、环境等领域有着广泛的应用。近十年来我国国家基础地理信息中心、清华大学、解放军信息大学、中国科学院、武汉测绘科技大学、武汉大学、吉林大学等单位在时态gis、时空数据模型、时空拓扑、时空数据库等时空推理相关领域开展了大量研究工作。

1.3时空数据标准与共享

不同领域和应用环境对时空数据的理解存在很大差异,这造成了异构时空系统集成的困难,因此时空数据共享、互操作和标准化的研究具有重要意义。这方面研究最初从空间数据入手,近期开始向时间数据和时空结合数据发展。时空数据的共享有以下方式:

(1)空间数据交换

空间数据交换的基本思想是各系统使用自身的数据格式,通过标准格式进行数据交换。目前空间数据交换标准有:sdts、digest、rinex等国际标准; 以色列的ief、英国的moepstd、加拿大的saif、我国的cnsdtf等国家标准;autodesk的dxf、esri的e00、mapinfo的mif等厂商标准。尽管各 gis 软件厂商提供了公开的交换文件格式来进行空间数据的转换,但由于底层数据模型的不同,最终导致不同的gis的空间数据不能无损的共享。虽然空间数据交换仍然在使用,但效果并不理想。空间数据互操作标准是当前国际公认的,比空间数据交换标准更有前途的数据标准。

(2)基于gml的空间数据互操作

开放式地理信息系统协会 (opengis consortium,ogc)提出了简单要素实现规范和地理标记语言( geography markup language,gml)。ogc 相继推出了一整套gis互操作的抽象规范,包括地理几何要素、要素集、ogis 要素、要素之间的关系、空间参考系统、定位几何结构、存储函数和插值、覆盖类型及地球影像等17个抽象规范,2003年1月推出gml 3.10版[3]。近年来,国内外众多学者基于gml在空间数据共享等方面开展了大量研究。2001年 rancourt等人[4]将gml与先前所定义的空间标准进行比较,认为gml能有效地满足空间数据交换标准。2002年,zhang jianting等人[5]提出了一种基于gml的internet地理信息搜索引擎。2003年,zhang chuanrong等人[6]在网络环境下以gml作为异构空间数据库交换共享空间数据的格式,成功实现数据的互操作。2003年,崔希民等人[7]提出了gis数据集成和互操作的系统架构,在数据层次上实现gis 数据的集成和互操作。2003年,张霞等人[8]提出一种基于gml 构造webgis 的框架结构, 给出实现框架技术。其中采用gml 作为空间数据集成格式。2004年,朱前飞等人[9]提出了一种新的基于gml 的数据共享解决方案。2005年,陈传彬等人[10]提出了基于gml 的多源异构空间数据集成框架。gml数据类型较完整,支持厂家较多,相关研究丰富,是目前最有前景的时空数据标准。本文选择gml作为农业时空数据标准。

1.4时空本体

1.4.1本体、语义web和owl

本体方法目前已经成为计算机科学中的一种重要方法,在语义web、搜索引擎、知识处理平台、异构系统集成、电子商务、自然语言理解、知识工程等领域有着重要应用。尤其是目前随着对语义web研究的深入,本体论方法受到了越来越多的关注,人们普遍认为它是建立语义web的核心技术。owl是当前最有发展前景的本体表示语言。2002年7月29日,w3c组织公布了本体描述语言(web ontology language, owl)的工作草案1.0版。目前工作草案的最新更新为2004年2月10日的版本[11]。

1.4.2时空本体

基于本体方法对时空建模的相关研究工作如下:

1998 年,roberto 考虑了作为地理表示基础的某些本体问题,给出了关于一般空间表示理论的某些建议[12]。2000年zhou q.和fikes r.定义了一种考虑时间点和时段的时间本体[13]。2000年,córcoles基于xml定义了一个类似sql的时空查询语言,该语言包含八种空间算子和三种时态算子用于表达时空关系[14]。2003年,grenon基于一阶谓词逻辑定义了时空本体,使用斯坦福大学的protégé环境实现[15]。2003年,bittner等人[16]提出了用于描述复杂时空过程和其中的持续实体的形式化本体。以上工作中grenon的时空本体研究相对完整,相关研究成果已经在网上共享,本文在此基础上开展研究,建立农业时空本体。

2主要研究内容

(1) 农业时空数据规范

现阶段我国还没有公认的农业时空数据标准出台。本文基于时空推理技术,研究通用性更强的时空数据表示模型,能表示气象、土壤、环境、水文、地质等各领域的农业时空数据。gml是目前公认的时空数据标准,利用上述模型扩充gml,兼容中国农业科学院的“农业资源空间信息元数据的分类及编码体系草案”等国内现有的地方性标准,构建针对数字农业中时空数据的da-gml标准,作为数字农业基础时空数据的规范。现有的土壤、环境等基础空间数据库均支持到gml格式的转换。

(2) 农业基础时空数据库

基于笔者自主开发的gis平台建立农业基础时空数据库,该平台具有运行稳定、资源占用少、结构灵活、功能可裁减、成本较低、便于移植等特点。采用了时空推理技术,支持对空间和时空信息的表示和推理。通过da-gml能够直接从现有系统中获取领域农业基础时空数据,主要包括土壤数据库、环境数据库、气象资料数据库、农业生产条件数据库、林业信息数据库、影像数据库等。

(3) 农业时空分析方法库与农业时空知识库

时空推理是研究时间、空间及时空结合信息本质的技术,通过时空推理技术将现有面向农业领域的时空分析技术进行整合和规范化表示,形成农业时空分析方法库。对领域农业时空知识进行归纳、整理,同时通过数据挖掘方法从基础数据中提炼知识,建立农业时空知识库。

(4)农业时空本体库

在(2)、(3)中存储的数据、方法和知识需要一个有效的机制进行组织和管理。就目前技术而言,本体是表达一个领域内完整的体系(概念层次、概念之间的关联等)的最有效工具,所以本文选择建立农业时空本体库。具体包括本体获取、本体管理、本体服务与展示三个模块。使用protégé做本体开发环境protégé是斯坦福大学开发的基于java的本体编辑与知识获取工具,带有owl插件的protégé可以支持owl格式的本体编辑与输出。

以上三个库通过web service方式提供基于internet的服务,可以在线对库中信息进行维护和检索,并能无缝集成到应用系统中。

(5) 系统体系结构

系统工作原理如图1所示。首先,外部系统的时空数据转换成gml格式(现在绝大多数系统支持该数据标准),进入农业基础时空数据库。通过本体获取与编辑模块将时空数据和时空知识整理,形成本体库。外部系统的请求通过web ser-vices发给仲裁者,仲裁者区分各类情况调用三个库调用服务、提取数据和执行操作,结果返回给用户。

(6) 基于平台开发农业生产智能应用系统

基于数字农业时空信息管理平台建立数字化测土施肥系统、作物种植标准化管理系统、无公害水果蔬菜栽培指导系统等一批农业生产智能应用系统,解决实际问题。

3相关系统对比分析

3.1数字农业空间信息管理平台

平台基于信息和知识支持的现代农业管理的集成技术,对农田信息进行动态采集、分析、处理和输出,从而根据农田区域差异、农事安排进行模拟分析、决策支持管理和指挥控制,并对农业生产过程的区域差异进行精确定位、动态控制等定量操作[17]。

3.2全国农业资源空间信息管理系统

全国农业资源空间信息管理系统(nasis)实现对全国农业资源空间信息的查询分发,具有系统管理、动态数据字典、数据检索、查询、数据分发、制图、报表统计、数据分发等功能。该系统已经用于全国农作物遥感监测、农业资源调查、农业科研和农业政策信息支持服务等方面[18]。

3.3中国西部农业空间信息服务系统

计算机技术、互联网技术的迅速发展为建立基于web的中国西部农业空间信息服务系统提供技术支撑。本文从西部农业空间信息服务系统的数据库构建开始,全面地介绍了系统的运行模式和数据库访问技术,详细论述了系统的总体结构、平台环境和开发实现等。

(1)基于平台提供的开发框架,能方便、高效地建立大量的数字农业智能应用系统,基层农业科技人员也能快速开发出技术含量高的应用系统,各应用系统能互通、共享,便于升级维护。

(2)由于大量的底层服务、数据、知识和方法由平台集中统一提供,简化了开发数字农业应用软件的工作,节约了成本。

4结束语

数字农业时空信息管理平台从系统目标、适用范围、采用技术、系统接口等方面不同于任何现有的基础农业空间数据管理平台,是一个概念全新的系统,定位于基础农业空间数据管理平台的上层,更便于开发数字农业应用。其中的本体库等机制为将来建立农业时空数据网格奠定了良好的基础。

参考文献:

[1]于淑惠.数字农业及其实现技术[j ] .农业图书情报学刊,2004,15(7):5-8.

[2]唐世浩,朱启疆,闫广建,等.关于数字农业的基本构想[j ].农业现代化研究,2002,23(3):183 -187.

[3]geography markup language (gml)[eb/ol].(2003)./techno/specs/002029pgml.html.

[4]rancourt m. gml:spatial data exchange for the internet age[d].new brunswick:department of geodesy and geomatics engineering , university of new brunswick,2001.

数理平台篇7

1平台设计

1.1流程图设计根据以上分析确定的平台主要功能模块,得到系统流程如图1所示。

1.2人机界面设计人机界面设计从美观、便于使用出发,主要分为主界面、数据校核界面。

1.2.1系统主界面系统主界面为用户提供一个进行程序使用的操作平台,要求清晰、简洁、美观,点击相应模块时,应能弹出子窗口。

1.2.2数据校核界面将数据比对结果,逻辑校验结果进行展示,并用不同颜色对数据校验功能区域进行划分,便于用户识别。

1.3关键功能设计

1.3.1基础数据的读取主要为实现电量、煤量等基础数据从EMS、OMS中自动读取的功能。考虑到基础电量及煤量数据表的数据结构杂乱但均处在报表固定区域的特点,因此选择自动执行复制、粘贴的方法来读取数据。系统默认读取前一日的数据,对数据日期进行识别并提示,防止读入错误。

1.3.2数据校验数据校验是对自动读取的基础数据进行逻辑校验,判断数据读取的正确性。数据校验分为两步:一是将读入的数据与前一日进行对比,当变化量超出10%时提示检查;二是在数据内部逻辑关系不符、存在误差时提示修正。由于系统本身没有设计相应数据库,所以对比用的数据来源就是前一次使用后的数据。系统需实现将历史数据移动至对比用区域,并对非连续日的数据对比进行提示告警。

1.3.3各类型报表的生成在完成基础数据读取、填报、校核后,通过计算机程序实现对各种不同类型报表的自动生成[7]。(1)EXCEL报表的生成EXCEL格式的各报表结构、样式不同,且含有较多公式,不适合采用统一的数据处理方法。平台设计思路是将各EXCEL报表原样保存在EXCEL的工作表中,每日自动填入校核过的数据,再将各个报表相应的工作表分别另存到指定位置。(2)WORD报表的生成WORD报表较为常见,可描述为标题、日期、表格。程序采用将数据填入WORD模板的方式来生成WORD报表。报表日期使用书签替代的方法,表格中的数据采用类似EXCEL的处理方法。(3)E格式文件的生成E格式文件是电力系统数据标记语言的纯文本数据,文件的操作与TXT文档操作无异。生成E格式文件时需要注意在对数据字符串长度进行计算时,需将其转化为Unicode后才会计算准确。

1.3.4报表的保存和归档报表的保存和归档按照日期和指定路径实现自动保存归档。为实现按照日期和指定路径自动进行保存归档,程序需首先判断目标文件夹是否存在,当不存在时自动创建目标文件夹,然后生成本地文件进行归档。

2效果评价

经过半年试运行,将人工填报和使用“调度数据综合管理平台”两种填报方式下工作时长和数据合格率进行对比,结果如表1所示。从表1中可以看出,基于EXCELVBA开发的“调度数据综合管理平台”的使用,实现了用计算机开发软件系统的方式来解决人工填报报表易出错、效率低等问题,大幅度提升了报表填报的速度和准确性,使人工需1~2h才能完成的工作,提升至10min左右完成。

3结论

数理平台篇8

关键词: ULV处理器; 数据分流平台; 警务数据处理系统; 数据分流方案

中图分类号: TN911?34; TP393 文献标识码: A 文章编号: 1004?373X(2017)08?0033?03

Design of data distribution platform in large?scale police data processing system

SONG Hua1, LUO Xingyu2, YAN Huifeng2

(1. Chongqing Police College, Chongqing 401331, China;

2. College of Mobile Telecommunications, Chongqing University of Posts and Telecom, Chongqing 401520, China)

Abstract: As the previous data distribution platform for large?scale police data processing system is still at the development stage, and its data distribution efficiency, accuracy and effect are poor, a new data distribution platform for large?scale police data processing system was designed, whose core equipment is the ULV processor. The police data processing system has three levels of data streams. The ULV processor of the platform uses the physical hardware to distribute the data streams in three levels. The Web services processor written in Hash mapping function distribution scheme is adopted to distribute the result of the distribution hardware by software. The distribution results of the data streams in the first and second levels are given. The data stream in the third level is refined and corrected according to the protocol to acquire final distribution results. The analysis of the experiment result shows that the designed platform has high efficiency, high accuracy and good effect of distribution.

Keywords: ULV processor; data distribution platform; police data processing system; data distribution scheme

0 引 言

大型警帐据处理系统是一种能够在内部进行警务工作协调的应用系统,对公安机关意义重大。2013年,随着大数据时代的悄然来临,公安机关产生的数据量不断攀升,大型警务数据处理系统的处理能力也随之下降,为此,一些科研人员在大型警务数据处理系统中加入数据分流平台,以合理分配数据流量、提升系统处理能力[1?3]。以往为大型警务数据处理系统设计出的数据分流平台通常处于持续开发阶段,故不具备较高的分流速率和分流准确度,分流效果自然不好,因此,为大型警务数据处理系统设计一种新型的数据分流平台。

1 大型警务数据处理系统中数据流层次的划分

在公安机关中,大型警务数据处理系统的不同输入模块将会产生多种类型的数据流,对这些数据流的分层处理是提高数据分流平台分流速率和分流准确度的前提条件。因而,在数据分流平台开始进行分流工作前,需要先对大型警务数据处理系统数据流的层次进行合理划分。对大型警务数据处理系统数据流层次的划分依据 “由上至下、逻辑细化”的原理,如图1所示。

由图1可知,大型警务处理系统的数据流共被划分为三个层次。第一层次包含综合部门、调度部门和人事部门产生的数据流,这一层次中的数据流较为笼统,数据分流工作的进行相对容易;第二层次包含档案部门、考核部门和后勤部门,这一层次中的数据流细化程度较高,但数据的类型和结构也较为明显,数据分流工作难度中等;第三层次包含行动部分、医务部门和消防部门,这一层次中的数据流不仅细化程度较高、私密性较强,而且数据的类型繁多、结构复杂,数据分流工作难度较大。

根据以上分析不难看出,能够对第三层次中的数据流提供精准、高效分流工作的大型警务数据处理系统数据分流平台,一定能够满足第一、二层次中数据流对分流工作的需求。因此,大型警务数据处理系统要求所设计的数据分流平台在拥有强大的数据分类和存储性能的同时,也应具有较强的数据流控制能力和抵御网络入侵能力。

2 大型警务数据处理系统中的数据分流平台设计

2.1 数据分流平台分流方案设计

在大型警务数据处理系统中[2,4],数据分流平台的工作实质是:依据合理的分流方案[5],将第1节中给出的三个层次数据流以低于100 Mb/s的通信速率,准确分配到大型警务数据处理系统的数据检测平台中。由此可知,分流方案直接决定了数据分流平台的分流效果,是平台的重点设计对象。

所设计的数据分流平台使用哈希算法中的哈希映射函数设计分流方案。在大型警务数据处理系统的三个数据流层次中,传输控制协议(Transmission Control Protocol,TCP)和用户数据报协议(User Datagram Protocol,UDP)的数据类型占据了较大的比例。据不完全统计,TCP和UDP类型的数据占据总数据量的比例分别高达38%和42%。为此,平台将使用哈希映射函数把三个层次数据流中的数据类型分为TCP流、UDP流和其他流,随后将其依照由低到高的数据流层次分配到数据检测平台的相应位置。

在哈希映射函数中,将大型警务处理系统中TCP流、UDP流和其他流分别设为,,,三者均为48阶可编程函数,则有:

式中:,分别表示TCP流、UDP流中的数据;上、下角标均代表数据阶数;表示其他流中的数据。

那么,、和的相互关系可表示为:

2.2 分流处理器设计

分流处理器是实现分流方案的媒介,也是所设计的大型警务数据处理系统数据分流平台的核心设备,平台选用的分流处理器是超低电压版本(Ultra Low Voltage,ULV)处理器,平台对大型警务数据处理系统中三个层次数据流的分流工作均将通过这一设备进行实现。

ULV处理器是一种能耗极低、携带方便且具有超强抗入侵能力的多核处理器,其处理效率和运算精度均很高,并支持数据堆砌处理,适合进行复杂、海量的数据分流工作,图2、图3分别是ULV处理器的硬件结构和分流原理。

由图2、图3可知,ULV处理器的硬件结构分为功能硬件和基础硬件。功能硬件包括存储器、显示器和复杂可编程逻辑器件,基础硬件包括物理层、网络服务处理器和外设部件互连标准总线。上述硬件将依次对ULV处理器的硬件分流、软件分流和协议分流进行实现。

3 实验结果分析

在此将通过实验对本文设计的大型警务数据处理系统数据分流平台的分流速率、分流准确度和分流效果进行验证,实验现场如图4所示。

实验在某公安机关的大型警务数据处理系统中依次安装本文平台、单片机数据分流平台和嵌入式数据分流平台,并对系统进行初始化,给予系统64 b,512 b和1 518 b三种数据流。实验中,三个平台的分流速率对比情况如表1所示。

由表1可知,三个平台在大型警务数据处理系统中进行64 b数据流的分流工作时,均具有较高的分流速率。但随着数据流位数的增加,单片机数据分流平台和嵌入式数据分流平台的分流速率均出现了大幅度下降情况,而本文平台在实验中始K具有较高的分流速率。

为了准确描述三个平台的分流准确度,对大型警务数据处理系统中输入和输出的数据流数量进行了统计,二者数量越接近,被成功分流的数据流就越多,平台的分流准确度就越高,如表2所示。

由表2可明显看出,在安装本文平台的大型警务数据处理系统中,系统输出数据流和输入数据流的数量最为接近。上述结果说明,本文平台具有较高的分流准确度。

数据分流平台的分流效果取决于公安机关对平台的使用好感度,为此,在实验结束后对平台使用者进行了问卷调查,并总结出使用者对三个平台的使用好感度,如图5所示。

由图5可知,使用者对本文平台的使用好感度处于图中最高位置,其范围为[0.92,0.99]。使用者对单片机数据分流平台和嵌入式数据分流平台的使用好感度范围分别为[0.80,0.90]和[0.77,0.90]。上述结果说明,本文平台具有较好的分流效果。

4 结 论

为了合理分配数据流量、提升大型警务数据处理系统的处理能力,本文设计新型的大型警务数据处理系统数据分流平台,为公安机关提供更为高效、精准的数据分流工作。本文平台使用ULV处理器对大型警务数据处理系统的数据流进行硬件分流、软件分流和协议分流。经实验结果分析可知,本文平台具有较高的分流速率和分流准确度,并且分流效果较好。

参考文献

[1] 崔向前.论公安院校教师素养与高等警务人才人文素养培育[J].河南教育学院学报(哲学社会科学版),2014,33(6):42?45.

[2] 姜明月.云计算平台下的大数据分流系统的设计与优化[J].现代电子技术,2016,39(2):28?32.

[3] 席兵,韩盈盈.GPRS网络Gb/Gn接口数据过滤与分流的实现[J].广东通信技术,2014,34(7):11?14.

[4] 齐斐.数据交换在警务综合信息系统中的应用[J].甘肃科技纵横,2014,43(11):37?39.

数理平台篇9

关键词:

1.背景

经济普查是一项集工业、建筑业、第三产业和基本单位普查为一体的综合性国情国力调查。搞好经济普查,对于研究制订国民经济和社会发展规划、调整和优化经济结构、改进宏观调控、开拓新的就业渠道、建设“生活品质之城”等都具有重大的意义;将为健全和完善国民经济核算和经济运行监测体系,推进统计调查方法制度的综合配套改革等创造有利的条件。

2.我市二经普数据处理情况

数据处理是整个经济普查工作的重要环节,是全市普查人员辛勤工作成果的最终体现。作为五年一次的大型普查工作,数据质量的好坏标志着普查工作的成败,具有“一票否决权”的作用。因此,在这次经济普查数据处理过程中,我市经普办对数据处理工作格外重视,严把数据质量关。我市二经普的数据处理工作,按照“统一组织、统一标准、专业负责、统一上报”的原则以及“四上单位网上直报,四下单位县级集中录入,统一数据合并转换上报、二级数据处理”的模式组织实施,区、县(市)经济普查办数据处理组具体负责普查数据处理工作。

此次经济普查的数据处理模式与“一经普”完全不同,在六个不同的平台上进行数据处理,加上我市“四上单位”普查表采取网上直报方式,各套程序相互之间不衔接,因此数据处理的流程与环节尤为复杂,工作难度之大远远超过“一经普”,稍有不慎就会带来难以挽回的损失,对此,各区、县(市)经普办按照全市数据处理方案的规定,结合当地实际,制定最为严密的实施细则,最为规范的工作流程,最为健全的规章制度,明确最为严格的工作纪律与工作责任,落实最为充足、管理优良的人员、设备与场地,确保了数据处理的安全、高效,确保了数据处理万无一失。

3.各套数据处理软件生成的数据文件格式及其本质

《第二次全国经济普查软件》(以下简称“二经普软件”)是此次经济普查中全国统一使用的数据处理程序,也是国家统计局准备推广用于企业一套表的数据处理程序,本市最终上报省经普办的数据也是通过该程序整合处理后导出的。在其他几个数据处理平台上处理的数据最后是通过各自的数据导出接口导出后再通过二经普软件的各种数据导入接口导入合并的。

几乎所有的数据处理程序,都有导入导出功能,作为与外部数据库交换数据的通道。二经普软件使用强大的Oracle数据库作为后台数据库,并利用浏览器作为客户端程序,应当说比第一次经济普查的Epras程序设计更加细腻,界面更加友好,功能也更加强大。但是,与Epras程序相比,二经普软件在与外部数据交换方面非常的不友好,数据导入导出并不是通过csv或txt等常用的文本格式文件,也无法用Excel文件进行数据交换。

二经普软件的导入导出功能主要分为本级数据导入导出、上报数据导入导出和三上数据导入导出,其使用的文件格式分别为lor、upr和zip。要想通过外部数据库处理数据再重新导人二经普软件中,首先要解决的是如何将数据做成二经普软件认可的格式文件问题。下面就对这三种格式的文件一一进行分析:

3.1本级数据

本级数据导入导出功能中使用的文件格式是lor,这个是一种陌生的文件格式。事实上,绝大部分的压缩格式,都是zip压缩格式的变种,这个lor文件也不例外,只要把文件后缀改为zip就可以正常解压缩了。解压缩后得到一个xml文件和若干csv文件,其中xml文件是控制文件,主要记录了数据处理地、专业、表号等信息,每个csv文件对应一张表。

3.2上报数据

上报数据导入导出功能中使用的文件格式是upr,与lor文件类似,它也是zip压缩格式的变种,只要把文件后缀改为zip就可以正常解压缩了。解压缩后也得到了一个xml文件和若干csv文件。

3.3三上数据

三上数据导入导出功能中使用的是zip文件,这种文件本身并无特殊之处,只是一种常用的压缩文件,将其解压缩后生成了几个后缀为00的特殊格式文件,即统计局格式文件。用记事本打开一个00格式文件,发现里面的内容其实就是以逗号分隔的文本文件,即我们熟悉的csv文件。

这三种文件的本质都是csv文件,所以我们在对各个数据处理平台进行数据交换的时候完全可以通过csv文件来进行。通过比较lor文件和upr文件,我们发现,upr文件只是在lor文件的基础上增加了一些汇总表的数据,而汇总表是在基层表的基础上汇总得来的,在数据交换时只需要交换基层数据,所以可以舍弃upr文件不用。由于二经普软件本身存在缺陷,导入导出三上数据时经常发生错误,该功能不是很好用,而本级数据中包含了三上数据的部分,所以三上数据导入导出功能也可以舍弃不用。综上所述,使用lor文件进行本级数据导入导出就足够了。因此,只要认清了lor文件中各个csv文件各记录了哪一张表的内容,每张表中各个字段的排列顺序,并熟练的利用外部数据库软件操作这些数据,便能轻松进行各个平台间的数据交换。

4.对lor文件中csv文件的分析

从lor文件中得到的csv文件,其文件名表明了它与各张数据表的对应关系,如V_8600000002008032207000015.csv,就是601表的文件名,而602表的文件名是V_8600000002008032207000016.csv,602-1表的文件名是V_8600000002008032207000017.csv。比较几个文件名发现,前面的字符串是完全相同的,只有最后三位数字不同,这三位数字就是二经普软件数据库中存储的内部表号。数据库中存储了一张中文表名与数字表号的对照表,各张表的数字表号可以从这张表中查询。

打开一个csv文件,第一行是表头,主要有surveyobjectid、reportperiod、subject_code等系统字段(不同表的系统字段不完全相同),和以“m”开头数字结尾的数据字段。其中surveyobjectid是处理地代码和顺序号的组合;reportperiod为上报期,统一值为20080000;subject_code为专业代码;数据字段,如m1、m2等,其与中文指标名称的对照关系,也可以在软件数据库中找到。

5.利用外部工具制作符合规范的lor文件

简单介绍一下csv文件。csv文是一种“通用数据格式”文件,一般第一行记录了字段名,一行一条记录,一条记录的不同字段之间使用半角逗号“,”隔开。优点是存储容量小,便于导入导出,缺点是数据处理不方便,需要用其他的工具辅助处理。下面先介绍2种常用的外部工具:

5.1Excel。它是微软办公套装软件的一个重要的组成部分,它可以进行各种数据的处理、统计 分析和辅助决策操作,广泛地应用于管理、统计财经、金融等众多领域。这是一款功能比较强大的数据处理工具,在我们日常工作中使用也比较广泛,可以用它来对csv文件中的数据进行处理。

5.2SQL Server。SQL Server是Microsoft公司推出的数据库管理系统,具有使用方便可伸缩性好与相关软件集成程度高等优点,可跨越从运行Microsoft Windows 98 的膝上型电脑到运行Microsoft Windows 2000 的大型多处理器的服务器等多种平台使用。

如果电脑装有Excel,双击csv文件默认使用Excel电子表格打开。但实际上,csv文件是纯文本文件,用Excel打开常常出现某些长数字Excel“自作主张”地使用科学计数法显示的问题,在这个时候一旦保存则原始长数字全部被破坏。因此,若要不“失真”地把csv文件中的数据转移导Excel中,需要用特殊的方法。

一种方法是:先新建一个Excel文件,在菜单中选择数据-->导入外部数据-->导入数据-->选择文件类型为“文本文件”-->选择csv文件-->打开-->在文本导入向导中选择文件类型为“分隔符号”-->下一步-->选择分隔符号为“逗号”-->下一步-->在数据预览中分别选中每一列,选择列数据格式为文本-->完成。

这种方法有一个缺点,若遇到字段较多的csv文件,则选则列数据类型的操作过多,比较费时费力,这个时候可以使用SQL Server进行中转,先把csv文件导入到SQL Server中,生成一张数据表-->打开一个空白Excel文件-->全选-->设置单元格格式为“文本”-->打开SQL Server中的数据表-->选中所有字段-->复制-->粘贴到刚才的Excel表中。

csv文件中的数据转移到Excel中后,可以对列的顺序进行调整,以匹配二经普软件中的顺序;可以对英文逗号进行批量替换——若不替换则在导入二经普软件时会产生数据错位的问题;可以批量生成surveyobjectid字段——数据处理地+顺序号。

SQL Server的功能更加强大,可以把601表的surveyobjectid匹配到其他数据表中,使同一单位的surveyobjectid得到统一,以完成套表导入导出的功能。

从其他数据处理平台导出文本数据,通过以上方式完成csv文件的制作后,把文件名按对照表改好,加上xml文件(可以通过本级数据导出来获得),再打包压缩成zip格式文件,最后把后缀改为lor,这样就完成了lor文件的制作。把该文件导入二经普软件中就完成了多个数据处理平台间的数据交换。

数理平台篇10

关键词: 数字化管理;社区服务平台;数字化社区

中图分类号: F274 文献标识码: A 文章编号: 2095-8153(2015)03-0076-03

作者简介: 喻 立(1968-),男,清远职业技术学院外语与经贸学院副教授,博士,研究方向:物流与供应链管理、知识管理;魏 敢(1969-),男,清远职业技术学院外聘专家,博士,高级工程师,研究方向:物联网工程、知识库管理。

一、引言

20世纪以来,社区被看作是促进政府、社会、市场共同作用的社会治理格局的一支重要力量[1]。西方社区研究沿着两个方向发展:一是随着社会学学科的分化,社区研究越来越专业化,形成了不同的社区理论,主要是人文区位理论、社会体系理论、社会交往理论;二是应用性在不断加强,社区研究者在城市规划、社区发展、社会工作等方面越来越多,对政府决策具有很大影响[2]。随着改革开放的深化和市场经济体制的逐渐成熟,社区利益主体的多元化、资源配置结构的多元化和动态化、社区组织和非营利组织的蓬勃发展,特别是管理理论被引入到社区的实践中来,运用现代管理理论进行社区研究成为了学术界的新热点[3]。

近几年来,清远市的经济建设取得了令人瞩目的成就,在广东省实现了经济增速的“七连冠”,在社区建设和管理方面也取得了较大的进步,但随着社会转型的加快和人们各种公共需求的快速增长,传统的社区管理已经越来越显得力不从心,迫切需要一个更加开放、便捷、高效的服务管理平台弥补传统手段的不足,从而实现政府统一领导、部门分工协作、各方共同参与、资源有效整合的综合治理格局。

二、数字化社区服务平台功能描述

数字化管理(Digital Management,DM)是指利用计算机、通信、网络、人工智能等技术,量化管理对象与管理行为,实现计划、组织、协调、服务、创新等职能的管理活动和管理方法的总称[4]。通过数字化社区建设,可以有效实现社区管理的“全员化、精细化、动态化、信息化、智能化”,充分整合力量和资源,推进基本公共服务均等化,并拓展社区公共服务领域,强化社区自治和服务功能。数字化社区建设是一个综合性系统工程,不仅要从智能化的角度来考虑其功能、性能、成本、扩充能力及现代相关技术的应用等问题,而且要从现代城市社区管理和数字化城市建设的角度出发,切实考虑数字化系统在未来运行的实用性、可操作性,以及系统的运行与维护的成本[5]。

借鉴北京、上海、广州、厦门等地数字化社区建设的成功经验,清远市将在区域物理网格划分的基础上,以清城区启明社区作为试点及创新示范建设项目进行逻辑网格划分,实施对不同服务对象群体个性化服务需求的精确定位,实现社区服务由共性化向个性化的重心转移。清远的数字化社区建设重点是实现逻辑网格内包括信息服务、教育培训、文化服务、休闲保健、医疗服务、网格经济等内容的“社会服务”的预期目标。

1.信息服务

通过清远市知网工程信息平台的建设,可以更及时地、准确地采集、分析各个物理网格的人口、物件的各种具体信息,同时更可以通过各种行业专业数据的逻辑关系,为满足社会管理的各种要求提供信息化的服务平台。知网工程信息服务平台系统,将主要包括物理网格中的所有信息,同时按照知识经济社会的特点,对各个行业专业进行具体的划分,通过行业专业的逻辑网络的建立,为清远的社会经济发展、社会发展、社会稳定的建设,提供多维空间的数据信息服务。系统建成后,可以通过互联网连接全区各地,包括各个市、县(市、区)工作部门都能够共享相关的网格数据,以提高数据的使用效率以及政府工作效率。同时,系统还可以为各县(市、区)预留相关的数据库或程序接口,以便将原有的或新建设的政府服务平台接入系统,实现清远市社会管理的互联网运行,促进全市社会的网格化信息管理,同时也为清远市下一步的智网工程打下良好的信息资源基础。

2.文化服务

在知网信息平台的建设当中,将进行清远市城区数字文化平台的规划与建设。把我市基层公共文化服务触角通过互联网络不断延伸,争取在社会经济快速发展的同时,大力加强文化基础设施建设,努力使文化资源向基层延伸,形成清远市完善的公共文化服务设施网络。比如,把相关的数字影院,各级美术场馆、文化馆、乡镇文化站,甚至农家书屋等所有的文化场所都纳入到知网工程的综合管理当中。让全清远市公共文化服务的覆盖面通过知网工程的普及不断提升,以此提高清远网格人群的文化生活观念和生活方式。通过日益完善的知网工程之文化服务项目,真正让清远市人民群众享受着“政府买单,群众受益”的公共文化服务硕果。

3.教育培训

联合国的教科文组织《塑造未来教育――联合国可持续发展教育十年计划2012报告》指出,教育培训将成为现代城市社会发展原动力,这是一个全球化的动态,各国、各地区的全面进步都离不开教育培训。我们党的十报告也明确指出,要“加快发展现代职业教育,让每个孩子都能成为有用之才”;“加强职业技能培训,提升劳动者就业创业能力,增强就业稳定性。”我们的知网工程,不仅要按《国家中长期教育改革和发展规划纲要(2010D2020)》要求的“大力发展”,而且还要加速度,快步伐,目的是满足清远社会发展和人民群众多样化教育的需求。也就是说,清远知网工程的教育培训,将充分考虑地方经济的需要,主动适应地方产业升级转型的需要,为地方经济、地方社会管理服务。

4.休闲保健

伴随人类对健康的追求而衍生的休闲、养生、保健产业已成为朝阳产业,拥有广大的市场,成为推动经济发展的支柱产业。休闲成为一种生活方式,休闲娱乐、养生保健、康体健身等已成为人们生活的重要组成部分。同时,二十一世纪是一个注重休闲养生、崇尚健康的时代,清远作为广东的后花园,是珠江三角洲乃至广东的健康生活居所,在休闲保健方面有独特的环境基础!随着清远经济持续高速发展和社会进步,人民生活水平、生活环境与生活质量都有了显著的提高,生活观念已发生了很大转变。把休闲保健纳入清远社会管理知网工程的范畴,不仅可以在很大程度上提高人民群众的生活质量,也可以在很大程度上规范当前休闲服务质量问题过多、休闲保健往往涉嫌黄赌毒等诸多问题,从而为社会的发展与稳定奠定基础。

5.医疗服务

近年来,随着社会和经济发展,人们对于医疗服务质量和生活质量的要求也随之提高。网格管理把医疗服务纳入其中,作为网格社会其中的基础元素,将可以直接提高清远社会人群的生活质量。通过网格的精细管理与政府的有效干预,进行社会资源(如各个医疗点、医疗设备、税收等)再分配,对弱势群体(孤寡老人、低收入群体)提供补偿,将是减少贫困问题,缓和社会问题(医疗卫生事件、药物问题、就诊问题等)的有效方式。这些,无疑对增进社会整合、促进社会进步和协调社会发展起着不可忽视的决定性作用。在网络管理的系统之中,一方面可以把群众关心的医疗卫生服务融入到社区的服务当中,另一方面也可以利用医保、社保系统的接口,创建清远的医疗服务特色,尽可能地让群众享受到在信息时代医疗服务的便捷性。

6.网格经济

通过前一阶段网络系统的建设与运用,在此阶段的网格管理中,可以考虑充分挖掘网格系统的经济性。这里的网格经济,我们可以理解为网络经济。是指建立在信息化基础之上,各类应用群体利用信息和网络技术整合的信息资源,所进行的各种商务活动。最直接之处,是网格系统的研发、使用、管理活动所产生的经济效益,它建立在信息流、物流和资金流的基础之上,改变了传统经营模式、经营理念。我们平常所说的电子商务、办公自动化等,都属于归于网络经济的范畴。在清远知网工程的网格系统中有意识地嵌入相关的经济活动模块,比如物业管理系统、居民小区电子商务系统等功能,可以让社区的经济活动得到更有效的规范与监管,既可能减少了各种日常商业纠纷,也可能为网格系统的管理创造新的赢利模式,为网格系统的深入开发与应用提供源源不断的资金。

三、清远市数字化社区的实施与推广

1.基础阶段――社网工程

首先,在清城区选代表性社区作为试点并作为创新示范社网工程建设项目进行建设,探索出社区内区域物理网格划分的科学依据和原则,把试点培育成特色明显、成效显著、运行成熟的品牌示范性社区。在创新示范社网工程建设的基础上把城市社区社网工程全面推广到我市大部分城区,通过区域物理网格的合格划分和服务资源的有效配置,实现包括治安管理、计划生育、房屋拆迁、矛盾化解、文体保健、企业经济等内容的“维护社会稳定”的预期目标。

其次,在我市村镇选代表性社区作为试点并作为创新示范社网工程建设项目进行建设。在创新示范社网工程建设的基础上把村镇社区社网工程全面推广到我市大部分农村地区,以实现包括种养培训、营销服务、资金支持、计划生育、教育医疗、集体经济等内容的“经济发展”的预期目标。

再次,在我市少数民族区域选代表性社区作为试点并作为创新示范社网工程建设项目进行建设。在创新示范社网工程建设的基础上把少数名族社区社网工程全面推广到我市大部分少数民族地区,以实现物理网格内包括创业培训、资金支持、物资支持、居住环境、个体经济等内容的“脱贫致富”的预期目标。

2.提升阶段――知网工程

首先,在区域物理网格划分的基础上,在清城区选代表性社区作为试点并作为创新示范知网工程建设项目进行“逻辑网格”划分,实施对不同服务对象群体个性化服务需求的精确定位,实现社区服务由共性化向个性化的重心转移。在创新示范知网工程建设的基础上把城市社区知网工程全面推广到我市大部分城区,以实现面向社区居民个性化需求的包括信息服务、教育培训、文化服务、医疗服务、网格经济等内容的“社会服务”的预期目标。

其次,在我市村镇选代表性社区作为试点并作为创新示范知网工程建设项目进行建设。在创新示范知网工程建设的基础上把村镇社区知网工程全面推广到我市大部分农村地区,以实现逻辑网格包括内治安管理、计划生育、房屋拆迁、矛盾化解、文体保健、企业经济等内容的“维护社会稳定”的预期目标。

再次,在我市少数民族区域选代表性社区作为试点并作为创新示范知网工程建设项目进行建设。在创新示范知网工程建设的基础上把少数名族社区知网工程全面推广到我市大部分少数民族地区,以实现逻辑网格内包括种养培训、营销服务、资金支持、计划生育、教育医疗、集体经济等内容的“经济发展”的预期目标。

3.高级阶段――智网工程

首先,在清城区选代表性社区作为试点并作为创新示范智网工程建设项目进行智慧网格划分,依托数据挖掘、人工智能、云计算等技术,构建全方位的社区管理与服务决策支持系统,实现信息获取和服务资源匹配的智慧联动,使社区管理的组织机构进一步扁平化、智能化。在创新示范智网工程建设的基础上把城市社区智网工程全面推广到我市大部分城区,以实现更加高效智能的包括自我管理、相互服务、智能管理、资源共享、外向经济等内容的“社区自治”的预期目标。

其次,在我市村镇选代表性社区作为试点并作为创新示范智网工程建设项目进行建设。在创新示范智网工程建设的基础上把村镇社区智网工程全面推广到我市大部分农村地区,以实现包括信息服务、教育培训、文化服务、医疗服务、网格经济等内容的“社会服务”的预期目标。

再次,在我市少数民族区域选代表性社区作为试点并作为创新示范智网工程建设项目进行建设。在创新示范智网工程建设的基础上把少数名族社区智网工程全面推广到我市大部分少数民族地区,以实现包括治安管理、计划生育、房屋拆迁、矛盾化解、文体保健、企业经济等内容的“维护社会稳定”的预期目标。

[参考文献]

[1]Salamon,L.etal.Global Civil Society: Dimensions of the Nonprofit Sector, Baltimore: Johns Hopkins Center for Civil Society Studies, 1999.

[2]Williamson, peter J. Corporatism in perspective: An introductory Guide to Corporatist Theory. SAGE Publications Ltd, 1989.

[3]高润超.基于供应链的数字社区体系结构研究[D].天津:天津大学,2011.

[4]谭力文,徐珊,李燕萍.管理学[M].武汉:武汉大学出版社,2004:211-215.