数据平台范文10篇

数据平台范文篇1

关键词SOA；数据平台；信息暴露

1引言

本课题来源于中央广播电视大学教务管理系统的后续开发。随着中央电大在开放式教育思想指导下的教学改革的展开，系统业务量急剧猛增，原有的教学管理系统已经逐渐的满足不了应用需求。所以新一代教学管理系统正在开发中，同时由于教育业务本身的连贯性，导致了新旧系统并行的局面出现。但是由于新旧系统间缺少关联和通信以及必要的规范，导致信息“孤岛”现象严重，而旧系统又恰恰是电大不可放弃的重要投资。同时由于各个系统集成度不足，运行业务的数据库和应用程序也是在不同时期部署的，它们来自不同的供应商，使用各不相同的定制技术。从而面临着如何构建一个强壮的、可靠的，将新旧系统中的分散功能组织成可共用的标准服务来满足业务要求的平台，成为我们需要研究的难点。

通过实践我们可以发现，应用程序始终都与数据有关，企业级的服务程序更是如此。今天，企业应用程序开发中有高达70％的时间都是用于访问不同的数据。因此，对企业信息和数据按业务逻辑进行梳理和抽取，形成企业数据的统一表现实体，该实体可以在全企业范围内得到一致性的使用，是迈向面向服务的体系架构的第一步。因此我们提出了主题数据平台的概念。

2主题数据平台结构

主题数据平台结构见图1。主题数据平台由：主题数据服务层、数据处理构件、数据处理管道、适配器构件组成。

图1数据主题平台的设计构架

主题数据服务层：是底层接口与上层应用的中间层，用于屏蔽底层接口，向上提供统一的服务。有两种角色：一种角色是数据中转站，用于保存临时数据，并等数据传输完整之后，进一步对数据进行分析和处理；另一种角色是主题数据服务层角色，用于保存数据处理的最终结果：主题数据。

数据处理构件：是数据处理的基础构件，每一个数据处理构件都封装了一部分相对独立的数据处理逻辑，包括删除不需要的数据、补充缺少的数据、对数据进行简单的四则运算、代码转换和按主题建立新的数据结构等功能。

数据处理管道：是由多个数据处理构件组成，它合理的组合和安排这些数据处理构件，从而完成复杂的数据处理逻辑。

适配器构件：用于实现异构数据库与数据处理管道的无缝连接，从而能够方便的从异构数据库中抽取或插入数据。

3基于局域网的主题数据平台的实现方案

基于局域网的主题数据平台的实现方案见图2。

图2基于局域网的数据主题平台的实现方案

由于局域网有着：网络传输速度快、网络故障率低、即时性强、服务器固定等优点。所以我们采用：DTS技术、Nmake技术、临时库等技术来解决基于局域网的主题数据平台的实现问题。

3.1DTS技术的应用

采用DTS技术可以实现在局域网中从异构的数据库中提取或插入数据，并能对数据进行简单的逻辑操作。它可以把相对独立的数据处理逻辑封装在对应的DTS包中，从而把公用的数据处理逻辑从数据处理业务中提炼了出来，以备复用。并提供了工作流支持，保证了DTS包中数据处理业务的事务性和完整性。

⑴适配器构件

适配器构件只是一个数据处理通道和异构数据源的连接器，它负责从异构数据源中抽取或者插入数据并将数据转移到数据处理通道中。每一个数据源对应一个或多个适配器构件，每个适配器构件包含在对应的DTS包中。整个DTS包中包含一个原数据源、一个目标数据源和一个数据对应转换任务。将整个数据转换逻辑封装为一个构件，有利于适配器构件的复用。

⑵数据处理构件

数据处理构件封装了数据处理逻辑，这些处理逻辑由数据业务驱动，包括删除不需要的数据、从不同的数据来源补齐缺少的数据、对数据进行简单的四则运算、不同信息系统之间的代码转换等功能。数据处理逻辑按其独立性和公用性被封装在不同的DTS包中，增强了数据处理构件的可变性和复用性。DTS包提供了验证机制这既可以保证数据处理逻辑的正确性，又可以保证数据处理逻辑的事务性。DTS包内包含工作流，可以针对不同的情况做出不同的处理，极大地提高了数据处理构件的复用性，并可对业务性错误做出必要的处理。

3.2Nmake技术的应用

Microsoft程序维护实用工具Nmake是一个32位基于说明文件中包含的命令生成项目的工具。NMake具有丰富的选项，可以完成复杂的处理操作，并有树状文件任务处理结构，并且易于编写，结构清晰，对于实现复杂的数据处理业务提供了很大的方便。采用Nmake技术可以有效的将结构松散的、相对独立的数据处理构件聚合起来，从而能够处理复杂的数据处理业务。

数据处理管道

数据处理管道是将数据处理构件有机的组合起来并封装好，对主题数据服务层提供统一的访问接口，从而把数据服务逻辑与数据处理逻辑分割开来。数据处理管道可以极大地提高数据处理构件的复用率，并把复杂的数据处理逻辑从数据处理构件中抽离了出来，当数据处理业务变动的时候不需要修改构件只要按着业务需求，重新组织构件即可解决问题。Nmake可以按着业务需求轻松地把数据处理构件组合起来形成带有业务逻辑关系的数据处理管道，并且Nmake提供了业务流功能，针对不同的业务需求可以提供不同的业务流支持，从而极大的提高业务本身的灵活性。当业务需求变动时，Nmake可以通过重新组合数据处理构件来完成业务，而不需修改或者重新编写数据处理构件，从而提高数据处理构件的可复用性。

4基于互联网的主题数据平台的解决方案

基于互联网的主题数据平台面临的主要问题是如何通过远程数据传输将互联网的异地、异构的数据源中的数据传输到主题数据服务层中。数据一旦进入主题数据平台的主题数据服务层，就可以使用和基于局域网的解决方案相同的技术对数据进行整理。通过远程数据传输将互联网的异构数据传输到主题数据服务层之后的功能与基于局域网的数据转换接口的功能相同。

中央广播电视大学远程开放教育的教务管理系统是一个跨越44个省面向全国的开放式教育体系结构。该系统包含四级平台、五种角色，由于其独特性中央电大教务管理系统基于互联网的主题数据平台的搭建有如下4方面需求：

1）中央电大各个系统之间、中央电大教务管理系统各级平台之间需要能进行灵活的数据交换。

2）每次交换数据的数据量可能达到GB级。

3）部分数据交换有实时性要求，在规定时间内客户端必须收到响应，不能因为数据传输而推迟业务进度。

4）需要在网络状况不稳定的情况下完成数据交换，因为中央电大教务系统是跨越44个省的开放式教育系统，所以中央电大需要同44所省电大交换数据，在这种情况下网络状况不可预知、稳定性难以保证，但传输仍然需要进行。

4.1SOAP协议与Hessian协议的比较

目前，Web服务技术是解决异构平台系统的集成及互操作问题的主流技术[1]。它所基于的XML已经是Internet上交换数据的实际标准，基于通用的进程间通信协议和网络传输协议屏蔽平台的差异，可以将各种异构环境下的通信及调用请求均统一为标准的Web服务格式[3]。

但是由于SOAP协议的结构问题会使封装的数据膨胀数倍。当传输数据量比较小时，问题不是那么明显，但是当进行大数据量传输时就会导致Web服务的传输性能在实际运用中降低了很多。这对于经常有大数据量数据交换的应用系统来说是不适用的。

CauchoTechnology公司制定的HBWSP（HessianBinaryWebServiceProtocol）[2]在这方面的有所突破。Hessian协议和webservice常用的SOAP协议类似，也是将协议报文封装在HTTP封包中，通过HTTP信道进行传输的。因此Hessian协议具有与SOAP协议同样的优点，即传输不受防火墙的限制（防火墙通常不限制HTTP信道）。Hessian协议的优势在于：它把本地格式的数据编码为二进制数据，仅用一个字符作为结构化标记，HBWSP封装后的数据增量明显小于SOAP封装后的数据增量。并且相对于SOAP，Hessian协议的外部数据表示有3个显著的优势：

1）采用简单的结构化标记。简单的结构化标记减少了编码、解码操作对内存的占用量。编码时，只需写少量的数据，就可以标记结构；解码时，只需读少量的数据就可以确定结构。而且，简单的结构化标记减少了编码后的数据增量。

2）采用定长的字节记录值。用定长的字节记录值，解码时，就可以使用位操作从固定长度的位获得值。这样不仅操作简单，而且可以获得较高的性能。

3）采用引用取代重复遇到的对象。使用引用取代重复遇到的对象可以避免对重复对象的编码，而且也减少了编码后的数据量。

因此使用Hessian协议传输数据量比SOAP协议要小得多。实践证明，传输同样的对象Hessian协议传输的数据量比SOAP协议低一个数量级。因此Hessian协议比SOAP协议更适用于分布式应用系统间大数据量的数据交换。

4.2Hessian协议的实现构架

Hessian协议的实现构架如图3所示：为了实现Hessian构架，设计了下列组件：编码组件、解码组件、通信组件、报告故障组件、组件、调用服务过程组件。

图3Hessian协议的实现构架

首先客户端发出本地请求，组件响应请求依据服务接口，生成客户端存根，并调用编码组件对本地请求进行基于HessianBinaryWebServiceProtocol标准的二进制编码。然后调用通信组件将请求发送给服务器端。服务器端通信组件接收到请求后把请求转发给调用服务过程组件，调用服务过程组件会首先调用解码组件，得到过程标识，将过程标识转给服务器端存根，并依据部署文件和客户端的请求加载服务过程的实现类。然后根据过程标识、过程参数调用服务过程。最后调用编码组件将响应结果进行编码并通过通信组件返回给客户端。

当数据传输、通信发生错误的时候就需要启用报告故障组件，它可以以异常的形式，报告发送端、接收端、或者网络连接发生的故障，并把错误记录以日志的方式记录下来保存在文件中，以备日后查阅。

4.3实现结构

针对教务管理系统互联网传输存在的一系列问题，基于互联网的主体数据平台采用基于HBWSP的轻量级跨平台通信技术实现数据交换，如图4所示。在客户端，应用服务器从主题数据服务层中抽取数据，并按着HBWSP的外部数据表示对本地格式数据进行编码。然后通过internet网进行传输，在服务器端，数据交换的服务负责按照HBWSP的外部数据表示对接收到的数据进行解码，然后再对数据进行分析、处理后把数据插入到服务器端的主题数据服务层中。

图4非持久同步方式的数据交换解决方案

该解决方案的主要特点包括：

1）采用了HBWSP的二进制编码方式解决了异地、异构平台系统的通信问题，并使数据交互具有了一定的实时性。

2）由于HBWSP简洁的编码方式以及编码、解码性能高等特点使数据交换具有交换GB级数据的能力。

3）采用了HBWSP的二进制编码方式有助于缩短整个数据交换所需要的时间。其编码性能高的特点，有助于提高编码速度，减少发送方编码本地数据的时间。其解码性能高的特点，可以减少接收方解码、重构本地数据的时间。从而减少了数据交换的响应时间。

4）采用了HBWSP的二进制编码方式和数据分批传送技术有助于充分利用网络状况良好的时段。可以在网络状况良好的时段尽可能多的完成数据交换。

5）采用了断点续传技术，保证了当网络断连或响应超时导致正在进行的数据交换被中断，在故障修复后仍然可以从中断处开始，继续完成上次没有完成的数据交换的能力。断点的粒度可以调节，可以是一条数据，也可以是多条数据。

6）采用了事务保护机制，把每批要传输的数据定义为一个事务，本批要传输的数据的事务完整性不依赖于已经完成的各批数据，本批数据传输发生错误也不会对已经完成的各批数据造成影响。采用这种方法，可以在数据交换过程被中断的情况下保证数据交换事务的完整性。

5总结和展望

本文在SOA理论的基础上提出了一个主题数据平台的概念，力图把异地、异构的数据综合起来，组成一个强壮的、高可靠性的、可共用的标准数据服务平台。从而解决中央电大新旧教学管理系统数据“孤岛”的问题。我们再进一步针对现实环境：局域网和互联网两种情况进行了分析，并给出了实现框架和技术细节。

但是如何在信息暴露的基础上，对业务应用进行进一步的梳理、划分、整合，从而封装成用户可以随意组合、使用的标准服务，从而实现真正的SOA，是需要我们进一步研究的内容。

参考文献

[1]GeorgeCoulouris，JeanDollimore，TimKindberg.DistributedSystemsConceptsandDesign.金蓓弘.第3版.机械工业出版社，2003：134-150

数据平台范文篇2

关键词：政务大数据管理平台；战略规划；技术政务

大数据管理平台主要就是政府进行数据管理的系统，具有5V属性，主要就是容量、速率、多样性、真实性、价值，从宏观层面来讲，政务大数据主要就是面向政府或者是政府自由的数据，涉及到生活、服务与公共三项数据。为了能够提升政府大数据的管理效果，应着重构建有关的管理平台，制定相应的战略规划，合理使用先进技术，确保有关的管理平台良好发展。为了更好的完成政务大数据管理平台的建设工作，应该完善战略规划，合理使用先进技术，积极构建数据归集交换、数据管理与统一身份认证的相关平台，完善有关平台的政务大数据管理功能，保证各项工作的高质量、有序性开展。

1合理建设数据归集交换的数据管理平台

1.1平台的构建要求。对于数据归集交换平台而言，主要就是面向政务部门，合理使用完善的网络信息基础设施与优势性的资源，在资源共享、业务协同的过程中，提升区域之内的信息资源共享效果，达到良好的网络互通的目的，预防出现重复建设问题、纵强横弱问题、信息孤岛问题等等，使得各级政府部门都能够在数据交换的过程中，有着集约化、具体性的指导。数据归集交换平台的建设，主要是依托国家电子政务外网，在合理利用原本系统的同时，对其进行扩容处理和优化处理，建设出多级条块都能融会贯通、运行管理性能和效果较高、自控能力良好、持续性扩展性能强的平台。在建设平台的过程中，应遵循节约投资的基本原则，尽可能提升各种基础设施的应用效率，创建完善的多交换域模式，增强平台的交换能力、效率，确保平台管理效果和数据采集效果，在优化并且拓展相关框架的同时，使得平台之内更好的容纳各级政府的数据共享、交换，符合政府在数据共享方面与交换方面的根本需求。1.2平台的战略规划。具体的数据归集平台建设和发展过程中，应结合政务信息化发展的根本需求，将基础性的网络设施、安全体系当做是载体，按照电子政务的发展需求制定统一规范、平台与设计的战略规划，使得平台建设工作能够向着标准化、制度化、规范化的方向发展。政府部门在有关的平台中可以对数据进行系统性的分析，梳理目录的同时可以更好地实现信息交换的目的，也可以在平台中各种资源，订阅相关的信息，对政务数据进行统一性的共享与交换处理。在设计平台的过程中，应保证其在人口、法人、地理信息、宏观经济四大库有着专门的信息交换域，可以为进一步开展民生资金方面、财税增收方面、经济运行监测方面的政务业务的协同工作提供基础、支撑。在制定战略规划的过程中，应按照政府部门的具体需求，遵循着安全性原则、稳定性原则、标准型原则等等，完善平台的可维护性能、广泛应用的性能、拓展性延展性的性能。①应该遵循标准性的战略规划原则，根据有关的法律制度、行业技术标准等，在确保合理共享政务信息资源的同时，增强信息交换的效果，尽可能使用统一性的基础设施与产品，增强其中信息交换系统的稳定性，保证通用性，健全有关的数据构架，争取在战略规划的过程中提升平台的标准化程度[1]。②遵循先进性的战略规划原则，创建耦合性较低的软件架构，利用先进的软件设计良好运行的软件系统，保证系统的先进性，同时还需将行业标准当做是基础部分，运用先进的技术工具，确保系统具有一定的通用性，可以针对信息资源全面的共享处理。③遵循安全性的战略规划原则。就是在规划的过程中设置有关的管理维护模式，保证所使用的基础设施部分、中间设备部分、软件硬件部分的安全性，在规划建设平台的过程中，选用与标准相符的基础设施，创建科学化、有效性的信息安全管控体系，完善其中的CA认证模式和SSL功能。④遵循实用性的战略规划基本原则，形成正确的平台构建和设计观念意识，完善其中的方案内容，在确保系统性能的同时，提升平台运行的合理性，确保平台运作的适用性，可以在具体工作中有效解决和应对问题，保证平台建设的实用性。⑤遵循灵活性的战略规划原则，将API接口当做是基础部分，在其中设置适配器工具，保证内部系统和外部系统之间的良好对接，在增强系统运行稳定性的同时，改善系统在发展过程中的松耦合性，使得系统之内的资源可以高效性的整合运用。除此之外，战略规划期间还应该遵循可管理性、可扩展性的基本原则，形成良好的数据归集处理平台[2]。1.3具体的技术措施。如图1所示，数据归集平台属于数据共享平台中的一部分，构建政务大数据归集管理平台的过程中，应该完善相关的标准规范体系，统一的数据交换、运行管理、平台对接等规范内容，在规范性应用技术的同时不断增强相关的平台建设效果。在应用技术的过程中，主要的要求为：①明确有关的平台建设内容，就是要进行交换管理平台的良好建设，保证分布式的各个节点服务器都能够统一性的接入处理，确保区级的业务都可以全面性的覆盖连接，保证数据归集交换平台具备稳定运行的性能，可以增强数据传递的安全性与可靠性。应该构建交换业务的多域管理模式，保证各种业务域都能够更好的进行交换逻辑隔离。同时还需对政务资源进行统一性的目录处理，融入到有关的数据归集交换平台中，统一开展政务数据的管理工作。②具体的建设工作中应该遵循统一性的技术规划原则，将政务数据资源的交换需求当做是基础部分，全面进行部署、逐渐落实各类工作，因地制宜的整合资源，遵守着经济性原则、实用性原则，按照政务部门的具体发展、信息化的现状，明确有关的数据归集交换平台的规模和标准，使用信息技术、大数据技术等全面进行信息资源的整合，以此减少平台构建的成本。在建设期间还应该借鉴国内外的成功经验，确保所使用技术的先进性和规范性[3]。

2合理建设系统化的数据管理平台

2.1建设内容分析。数据管理平台的具体建设工作中需要重点整合所有的数据信息，主要因为在相关平台运作的过程中，数据来源很广、类型很多，如若使用人工分类的方式，工作量较大，工作效率较低。因此，需要按照数据管理的基本要求合理创建标准性的数据平台，自动化分类所收集的数据信息，快速进行查询和反馈，然后快速将结果呈现出来，强化部门相互的合作力度，开展深入性的预测分析工作，做出相应的反应，减少信息获取的难度，增强数据管理的效果。在建设数据管理平台的过程中，应重点开发政务大数据资源中心系统，以免出现数据资源分散性的问题，从智慧城市建设和发展的角度考虑问题，在大数据资源中心的支持下，使得政务数据信息呈现出聚集性、联通性、利用性的状态，增强数据管理的有效性。2.2制定平台建设的战略规划。对于政务大数据的数据管理平台来讲，在实际建设的过程中应该完善战略规划，保证数据管理的效果。①在战略规划的过程中应该健全平台的运行功能，完善其查询功能的同时，开发更多新的管理功能，便于增强管理工作的有效性。②应该采用数据对比的形式，准确的开展对比工作和定位工作，合理共享有关的数据信息，将各个行业和各个领域中的数据融入其中进行整合对比。在完成对比以后挑选带有问题的数据，开展相关的核查工作，确保在平台中能够高效化、有效性的完成数据管理任务。③应该完善有关的数据库管理制度，提升数据管理工作的规范化水平，在数据收集环节、分类环节、处理环节，都可以在平台中操作，需要注意的是，各个环节都应该设置密码权限，严格进行系统安全防护，以免出现病毒入侵、黑客入侵等问题。④重点进行数据管理平台的推广，在合理推广的同时增强平台的运行效果[4]。2.3具体的技术措施。建设相关数据管理平台的过程中，应该积极运用先进的技术措施，发挥各种技术的应用优势和作用。在应用技术的过程中，应做好信息资源方面的梳理工作，编制相应的目录，合理开展数据的标准化建设工作。之后就要利用数据共享的方式、数据交换的方式、数据采集的方式等，全面整合收集需要利用的数据，保证技术的良好运作。之后就要创建安全保障机制与管理机制，合理运用数据，按照业务数据需求、市民数据需求、企业数据需求等在未来的工作中合理使用数据信息。最后需要开展数据方面的有效分析工作，综合性的评判数据应用绩效，保证有关平台的良好建设发展[5]。①应该完善相关的逻辑架构，为了确保数据管理平台中各种业务系统的稳定运行，可以设置前置性的设备，利用数据桥接的形式在整体系统中将业务数据信息传输到前置设备中，业务部门按照前置机中的标准内容进行数据结构交换处理，将业务数据信息转变成为和交换数据格式相符的内容，然后输入到前置交换数据库系统中。与此同时，平台也可以利用前置机中的交换前置系统，合理进行文件、数据库各种数据信息的采集和交换，利用输出传输通道将其传输到目的端。②合理建设相关的功能架构。对于平台的功能架构来讲，在设计期间应该遵循高效性原则、稳定性原则、包容性原则与一致性的原则，树立正确的服务观念意识，使用模块化技术设计具有一定高内聚、松耦合特点的核心框架，确保平台具备一定的扩展性、维护性与适用性。③合理设计业务架构，使用数据管理软件系统、集成框架技术、适配器技术等，进行异构系统相互之间的数据交换共享，保证数据管理平台中所有数据都能够互通、合理共享交换。在设置数据管理节点的过程中，应该完善其中的数据交换流程，各个部门之间都可以实时性的交换数据信息。在此期间，还需设置数据管理、监控的重心，统一性的开展数据的配置工作、管理工作和监控工作，形成良好的数据管理平台运行模式和发展体系[6]。

3合理建设统一身份认证的数据管理平台

3.1建设的内容分析。对于政务大数据的数据管理平台来讲，统一身份认证的数据管理平台也非常重要，在建设的过程中需要结合电子签名法律制度、我国相关的指导意见、互联网+政务服务技术体系的建设指南等，将公民的身份号码当做是唯一标识，合理采用各种身份认证技术措施，确保相关的电子身份认证之间能够相互连通，争取可以构建出与国家要求相符，能够服务大局并且全面进行连通的身份统一认证平台，使得电子政务能够获取到可持续性、可靠性的身份认证服务[7]。实际的建设工作中需要统一化的开展信息系统登录访问的管理工作，在系统之内无论用户设置还是资源共享、权限管理，都需要有着统一性的规划，在提升系统整体性的同时便于开展管理工作。与此同时，在使用系统中应用程序的过程中，还能设置统一性的接口部分，提升系统运行的便利性和实用性，从总体层面来讲，可以促使系统在操作方面的一体化发展，快速整合政务的数据信息，只需在区域之内注册办理公民的身份信息，就可以将其存储到系统之内，跨区域的进行业务办理，解决人们在办理业务过程中的多次操作问题和多次登录注册的问题，提升业务办理方面的便利性[8]。3.2平台建设的战略规划。对于同一身份认证平台来讲，在建设的过程中需要为电子政务项目提供一定的底层平台基础保障，主要就是创建组织模型，合理设置单点登录服务、身份认证服务，同时开发移动终端的统一消息服务，整合相关的CA认证服务，保证系统的良好运行（如图2）。3.3平台建设的技术措施。在建设统一身份认证平台的过程中，应该将J2EE技术当做是基础部分，合理设计基础层次、数据层次、内网与外网业务层次，在层次性设计的情况下保证系统的良好运行。同时还需支持LDAP目录的访问协议，保证数据信息的有效处理，平台具备一定的扩展、容错性能，安全性符合标准，同时使用集群、负载均衡等技术措施，提升平台的运行水平。统一身份认证平台的功能设计过程中，需要具有用户集中化管理的功能，保证数据信息的安全性与私密性，保证传输效率的同时提高读取的速率，将所有数据信息存储到DAP目录中，在其中设置用户同步的功能，将所有数据信息转移到相关的统一身份认证平台之内，按照顺序将数据传输到业务系统之内，保证账号信息的同步性[9]。使用平台构建技术的过程中，还需完善其中的授权、认证接口，为确认身份信息提供较为可靠的认证机制，在这个端口中系统能够快速获取到用户的数据信息与权限信息，接口允许多种编程语言的应用，接入方式多元化，并且支持有关的客户端用户名密码，设置API认证接口接入形式、WEBSERVICE的接入形式，支持应用系统的操作、桌面客户端SSO部分，支持ASP开发工具、NET开发工具等等，如图3所示，相关的平台具有针对性的功能，可以确保统一身份认证的数据信息处理效果。除此之外，在建设统一身份认证数据管理平台的过程中，还需在其中使用PC段、客户端的消息服务技术，利用JAVA语言进行开发，使用C/S模式开展工作，完善其中的消息推送功能、内部即时性通讯功能。在系统支持消息方面，可以应用各种终端漫游的技术措施，利用此类技术无需进行平台的设置与同步处理，可以确保云消息在各种终端中进行漫游，确保统一身份认证平台的良好运行[10]。

4结语

综上所述，政务大数据的环境背景下，合理建设数据管理平台是确保有关数据信息全面管理、共享传输的基础保障，因此，应该重点关注有关数据管理平台的建设和发展，明确其中的建设内容、战略规划原则，合理使用先进的技术措施，保证在构建数据管理平台的同时提升政务大数据系统的运作效果，满足当前在数据管理方面的基本需求。

参考文献：

[1]郑海燕.政务大数据管理平台的战略规划与设计研究[D].江苏:南京邮电大学,2019，23（44）122-135.

[2]廖喜凤,陈玲霞.大数据管理模式下政务平台用户体验与居民数据素养调查研究——以长沙市为例[J].统计与管理,2018,11(12):43-47.

[3]邓峰."放管服"环境下科技政务大数据平台研究[J].科技创业月刊,2020,33(10):75-77.

[4]刘高明.长沙"互联网+电子政务"大数据管理模式研究[J].办公室业务,2018,22(17):32-33.

[5]王娟,杨现民,郑浩,等.大数据时代教育政务数据开放的风险分析及防控策略研究[J].中国电化教育,2020,13(6):95-103.

[6]朱岩,刘国伟,王静.政务大数据安全架构研究[J].信息安全研究,2019,5(5):370-376.

[7]尹玉石.大数据环境下政府数据管理模式及策略研究——以大连市为例[D].辽宁:辽宁师范大学,2018,23（44）144-156.

[8]尤慧.加快江苏政务大数据共享管理的对策研究[J].区域治理,2018,11(37):87-88.

[9]张峰.基于云计算的电子政务平台研究[J].科技资讯,2018,16(22):9-11.

数据平台范文篇3

同时，众多的应用系统所带来的身份的认证和管理的复杂性既使得管理成本不能降低，又使得整个系统的安全性、可整合性降低，这已成为电子政务信息管理系统进一步发展的瓶颈所在。因此，要想改变电子政务信息化水平的现状，整合信息资源，解决“信息孤岛”问题，就必须建立一个公共数据平台，它是在政府部门原有的各业务系统层面上搭建的一个高层应用平台，将各业务系统的异构数据集成应用，向下屏蔽各异构信息源异构性，向上提供数据集成基础服务，实现各种信息系统的互通互联和数据共享、数据的一致性，并在此基础上实现规范的信息管理。近年来，随着语义Web的发展，其核心技术本体在数据集成方面得到了应用。本体作为共享领域概念模型，可以通过定义领域内一致的术语和术语间的关系来描述异构信息源的语义信息，从而消除异构数据源的语义冲突。

在国外，对本体的研究较早，本体已经应用到各个领域。相比国外，国内对本体的研究起步较晚，尤其是在电子政务方面，缺乏一致的本体模型，相关的应用也少。目前，本体技术很少在电子政务信息化建设中应用，因此，如何把本体技术应用到电子政务异构数据管理集成中，采取何种策略进行构建，消除电子政务各信息系统异构数据库模式的语义冲突，从而解决电子政务中异构系统导致的信息孤岛问题，构建统一的数据平台，以便提高政府管理效率，就显得尤为重要。

1电子政务与本体

1.1电子政务与本体概述

电子政务是政府机构广泛深入地应用现代信息和通信技术，将政府内部和外部(社会)的责权与职能通过计算机网络硬件和软件技术进行集成、整合、优化、重组，做到跨越时间和空间，突破部门分割和传统组织、工作方法与工作流程的限制，力求全方位地、有效地施行与提供安全、高效、优质、规范和符合国际水准的管理与服务。本体是为了某种目的描述世界时的一组抽象化概念，并且该组概念是得到广泛认可的、以规范化形式描述的。根据定义描述本体时目的的不同，本体可以分为多种类型，依照领域依赖程度，可以细分为顶级(top—leve1)、领域(domain)、任务(task)和应用(application)，这里研究的是领域本体，领域本体由属性、对象、关系和子领域本体组成。引入本体的思想，借助本体对领域知识进行详细描述，以抽象出概念化的语义层次，为进一步研究语义化的信息交互提供了基本的语义层次2J。从形式上来说，本体由概念、关系、函数、公理和实例5种元素组成。本体中的概念可以是一般意义上的概念，也可以是任务、功能、行为、策略推理过程等；关系表示概念之间的关联；函数则是一种特殊的关系；公理用于表示一些永真式；实例是指属于某种概念的基本元素，即某概念类所指的具体实例。

1.2本体在电子政务中的应用案例

美国印第安纳州电子政府建设是很多文献介绍的典范，其成功之处在于利用本体方法建设电子政府数据库J。美国印第安纳州电子政府IndianaFamilyandSocialServicesAdministration(FSSA)本体，属于最上层的域本体设计，它在“家庭与社会服务”这一本体下定义了9个本体(即低收入、处于危险的儿童、精神病与吸毒、弱智、区域健康与人性化服务、医疗补助、政府机构、法律实施及财政)，建立了最上层的概念关系，并用图形和箭头形式标示出了各下层本体之间的关系以及在一个专业本体里所包括的术语。

1.3电子政务中本体的核心概念及抽取方法

目前，大多数本体学习方法和本体学习系统都是直接将术语识别为概念。术语的抽取被认为是进行本体自动构建的关键。针对术语抽取的研究主要有基于语法规则的方法、基于统计的方法、ICT—CLAS系统法J。利用语法规则的方法来进行术语抽取具有提取术语准确度较高、处理过程简单、计算量较小、能够有效提取低频术语等多项优点。但是，由于语言学规则本身难以掌握，尤其是针对开放性的语料，语言学的规则更是难以准确应用，利用人工来研究语言学的规律越来越难以实现；使用统计的方法来抽取术语可以高效地识别领域术语，只要一个词在文本集中出现的频率高，就可以被有效抽取出来，可移植性较好。但是，这种方法计算量大，在处理低频术语的时候，效果较差；ICT—CLAS系统法主要采用ICTCLAS系统对内容进行分词处理，然后对分词进行抽取处理，这样抽取的优点是抽取内容比较全面，但效率比较低，并且需要人工手动处理。

以上抽取方法都有优缺点，在本体抽取中单独地使用其中一种方法都不能达到最优的效果，笔者把以上多种方法混合起来，采用程序自动分词合并方式，加入TF—IDF算法，增加对领域术语的相关度的计算，筛选出与领域相关度低的术语，从而提高领域术语抽取的正确率。基本步骤如下：

1)采用语法规则的方法提取相关候选术语；

2)采用程序自动处理方式，对相关候选术语进行分词；

3)采用统计法对分词进行统计，根据频度提取术语；

4)使用TF—IDF算法对提取的词进行相关度计算，求出每个候选术语在政务领域文本中的相关性，抽取出政务领域独占性强的词作为政务领域术语。

2电子政务公共数据平台架构

为了确保异构数据获取和更新的准确性，同时又不改变原有硬件设施和人力资源，要想实现真正意义上的异构数据库间信息资源的共享，集成后的数据必须保证较高的集成性、一致性和完整性，这是公共数据平台建设的重要环节。

2.1本体模型构建

电子政务中大量不同的应用系统，其异构是普遍存在的，要想向下屏蔽异构数据，建立数据中心，向上提供公共数据平台，就必须构建本体模型对元数据进行抽象概念化处理。电子政务本体构建中的2个核心问题是概念抽取和概念关系的获取，概念抽取是对数据源进行分析，抽取出概念集合和每个概念的属性集合。概念抽取本体有很多方法，可以由领域专家手工进行，也可以利用领域概念词典，自动抽取数据源中的概念。概念关系的获取可以通过2种方法实现，即基于语言规则的方法和基于统计的方法。在对所有数据源进行分析的基础上，找出其中所涵盖的术语，进行概念抽取，定义共享的词汇表，根据相关本体规则进行本体抽象和语义处理。

2.2公共数据平台架构

使用公共数据平台的好处在于所有的共享数据被存储在中心数据库，可以向上层提供统一的数据，便于资源共享和集中管理，而电子政务网内各应用系统中异构数据库就拥有了完全的自治性，这样首先需要对底层异构数据库进行本体抽象处理，向下屏蔽异构数据，然后采用数据交换技术和数据同步技术保持中心数据库数据和底层异构数据库数据的实时同步。

电子政务公共数据平台架构分为应用层、异构数据集成层、本体模型层和异构数据本体库层，如图2所示。异构数据本体库层主要包含各大应用系统异构数据库，通过不同的连接器及适配器向本体模型层提供本体的元数据；本体模型层对元数据进行概念化，按照本体规则进行抽象处理和语义处理；异构数据集成层在本体模型之上利用AGENT同步模块对数据进行交换、同步而实现数据集成，公共数据都集中到中心数据库，向上层提供公共数据平台；应用层主要是用户访问层，针对不同用户提供统一身份认证，实现单点登陆。

3电子政务公共数据平台设计

3.1构建电子政务领域本体的方法步骤

W3C组织推荐的在语义网上应用的标准本体表示语言是OWL，目前本体的构建方法主要有TOVE法、骨架法、KACTUS工程法、SENSUS法、IDEF5法、七步法等。这些方法大多数是以不同领域为背景，从个案的开发过程中通过逆工程总结出来的J。例如：TOVE专用于构建TOVEOntology，是关于企业建模过程的知识本体；骨架法专门用来构建企业本体；KACTUS是指“关于多用途复杂技术系统的知识建模”工程，目的是要解决技术系统生命周期过程中的知识复用问题-l；SEN。SUS法是开发用于自然语言处理的SensusOntolo。g)r的方法路线¨；IDEF5法是用于描述和获取企业本体的方法-l。；七步法是斯坦福大学医学院开发的，主要用于领域本体的构建_l。这些方法各有特点，但都不是针对电子政务领域的，没有充分考虑电子政务领域的特点。笔者结合电子政务领域特色，提出基于电子政务业务模型，抽取概念，建立电子政务领域知识本体的方法，步骤如下：

1)需求分析，确定电子政务领域本体应用的目的、范围、表示方法和用途等。电子政务领域本体建设要以应用需求为牵引，要对人类在认识世界过程中形成的不同“本体”(知识体系)进行认真分析，最终达到需求分析的定位准确、涵盖得当。

2)概念化及抽取，通过各种渠道获得电子政务领域本体的主要概念，确立概念间等级关系，并用精确无歧义的语言加以描述，形成该领域本体的核心语义内容。获得领域信息最根本的方法应该是考虑复用已有本体的可能性。通常的也是最行之有效的方法是复用已经广泛使用于各个学科领域的主题词表和分类表。

3)概念间联系，确定电子政务领域本体概念间联系，如属性、种属关系、总体与部分关系、领域中的特有关系；对所收集的名词术语进行规范，罗列重要的词和短语，并将其归类。还要确定概念间结构，定义类别和等级结构。

4)本体生成，采用SFCA算法，对概念之间的关系进行分析，自动生成局部本体，再采用PROMPT算法，把局部本体合并，生成全局本体，存放在本体管理器中。

5)本体编码，利用形式化描述语言对“概念化”的电子政务领域本体进行编码，使机器易于处理，尽量将相关领域已存在的本体集成到要构建的政务领域本体中，既避免重复建设，又可以形成领域内共享的本体。

6)确认、维护与评价。对电子政务领域本体按照一定的标准进行确认和评价，包括本体的清晰性、一致性、可扩展性等；随着电子政务领域知识的增加，本体要不断更新、不断进化，增加本体概念，完善本体概念间的语义关系。

3.2电子政务公共数据平台设计

电子政务公共数据平台是在原有的各业务系统层面上搭建的一个高层应用平台，将各业务系统的异构数据集成应用，向下屏蔽各异构信息源异构性，向上提供数据集成基础服务，实现电子政务各应用系统的数据共享和数据一致性，有效解决信息孤岛问题，并在此基础上实现规范的信息管理。设计基于本体的电子政务公共数据平台，首先研究数据集成方法与本体技术及基于本体的语义集成，在此基础上构建公共数据平台异构数据库集成框架，基于本体的异构数据库集成框架是设计公共数据平台的基础。目前数据平台的建设主要有3种模式：全局中心数据库模式、数据交换模式和共享数据中心模式。全局中心数据库模式：建立一个数据中心，各应用系统直接应用于该数据中心之上，逐步取消原有业务数据系统；数据交换模式：保持原有业务数据系统，用数据缓存的模式进行各业务数据系统之间的数据转换和抽取；共享数据中心模式：原有各业务数据库保持不变，通过触发器或者开发数据接口抽取需要共享的数据，并且进行转换，汇总生成共享数据库。上面的模式各有所长，但也存在不足，这里提出一种统一公共数据平台模式，即制定统一信息编码标准，从而建立核心数据库，存放最基本的公共信息，保留原各业务数据系统。这样公有数据存放在中心数据库，一方面可以实现资源的最大共享，另一方面各专业数据仍保留在原系统中，保证了数据独立和安全。平台结构如图3所示。公共数据平台建立在中心数据库之上，中心数据库中存放的公共数据可以通过数据交换、数据同步的方式更新到各业务系统数据库中，数据的同步更新采用事件驱动方式，通过触发器和AGENT同步模块来更新数据。AGENT同步模块基于本体模型之上，本体模型层对元数据进行概念化，按照本体规则进行抽象处理和语义处理。

数据平台范文篇4

1.1地方科技管理大数据的内涵。本文所指科技管理主要是科学技术研发与应用的过程管理。传统的地方科技管理数据是与科技管理相关各类数据集合，包括科技项目、研发机构、科研成果、专家、企业（高新型或科技型）、财政投入、政策法规等信息。从大数据概念上讲，传统的地方科技管理数据体量有限，类别也很难称为复杂，而且大多数属于关系型数据，无论是项目还是论文、专利、成果，价值密度都比较高，这些特点都不符合大数据的特征[6]。本文认为，如果运用大数据思维去分析，地方科技管理涉及的人力、物力、财力资源最终都会以数据的形式存储、整合，这些数据分散于长期积累的各类电子政务系统、科技管理信息系统及其他业务系统中，如能将这些系统的数据整合与互联网实时数据进一步扩展，此时的地方科技管理数据无论是体量还是类型复杂度、数据价值密度都将接近大数据特征。如传统的专家库包含的信息相对有限，如果加入专家画像技术，通过收集专家的项目、成果、专利、论文、合作关系、同行评价、社交媒体引用热度等，对一位专家的综合评价就会更加准确。同样的，单纯的科技计划项目数据难以称为大数据，如果按照国务院办公厅《关于印发科学数据管理办法的通知》（国办发[2018]17号）规定的，将每个项目涉及的科学数据与项目进行匹配，综合财政提供的项目资金使用情况、项目中期检查情况、财务预算及开支情况等信息，再辅以科技报告、科技成果登记等文献资源，将在项目立项、评审专家遴选、项目实施过程管理、项目验收及成果共享等科技管理流程发挥重要作用。1.2地方科技管理大数据的国内研究现状。在大数据与科技管理的理论研究方面，乔晓东等[7]提出科技大数据概念，分为科技知识大数据与科技活动大数据，分别对应文献类资源和科技活动中的实体及其关系之间的数据，进而提出一种包括资源发现、网络检测采集、科研分析评价、科技情报服务等综合科技管理的大数据服务体系；袁伟等[8]从科技资源的挖掘与利用角度，提出借助大数据管理方法与模式对科技资源数据进行标准化整合汇聚，面向科技创新发展与管理决策需求深度挖掘与利用科技资源数据的对策建议；徐迪威[9]对大数据与科技管理的关系进行研究，提出基于大数据的科技管理存储层、处理层、应用层的层次体系。在大数据与科技管理的实际应用方面，北京市科学技术委员会提出打造“首都科技大数据平台”的口号，整合分散于各政府部门、科研机构等单位的科技资源并向社会数据需求方开放[10]；贵州省借助“云上贵州”建设，提出“科技云”这一科技数据资源开发与利用的新范式[11]；上海市研发公共服务平台整合专家人才、大型仪器、科技文献、研发基地等科技创新数据资源，建成“上海科技创新资源数据中心”[12]；“内蒙古科技创新大数据平台”分类实现服务云、管理云、数据云，实现“一站式”创新资源平台服务[13]。

2地方科技管理大数据建设的现存问题

由于我国大数据环境下的科技管理研究尚处于起步阶段，虽取得一定成果，但还存在以下问题。2.1缺少成体系的理论研究支撑。以科技管理为主题的大数据建设研究，公开的文献报道多以平台搭建、数据中心建设为主；对科技管理数据资源整合的标准，跨体系各分散系统的科技管理数据如何汇交，科技管理大数据平台的基础模型如何构建，社交媒体等互联网数据如何融入科技管理，以及平台安全保障及运行维护模式等方面的深入研究不多；同时，虽然对大数据技术在科技管理某些环节的应用开展了研究，但对于科技管理整体过程的体系化研究不够全面，未能覆盖科技管理的各个环节，如针对应用大数据优化科技管理的关键决策环节、优化科技管理公共服务模式等问题，缺少相关理论研究。2.2平台重建设，轻服务。在科技管理领域，各地都纷纷开展各自的大数据平台建设，如“首都科技大数据平台”“内蒙古科技创新大数据平台”“贵州科技云”“青岛科技大数据平台”“上海科技创新资源数据中心”等，重点多在于基础环境建设及平台搭建，在服务内容方面，大部分停留在信息整合、数据初步分析等粗加工服务模式[14]。“上海科技创新资源数据中心”提供以各类情报分析产品为代表的科技管理数据精加工服务，而在时下热门的精准化定制及智能决策支撑等创新服务模式方面未见过多涉及。2.3缺少特色数据，数据应用能力较弱。已有研究成果在研究或实现科技管理大数据时，多将专利、期刊论文、成果等科技文献元数据作为大数据的主要来源，虽然在一定程度上保证了科技管理大数据的体量，但缺少深度挖掘（如基于科技文献的专家画像、科研合作关系发现、专家及人才评价等），也缺少特色的科技管理数据（如项目管理过程数据、科技成果登记数据、财政支付财务数据等），最终实现的科技管理服务仅是常规科技管理的信息化展示。除此之外，各大数据平台提供的数据开放、创新辅助等公共服务能力较弱，社会公众对科技管理大数据的获取及应用热情不高，影响平台的社会价值。2.4存在数据主权争议、涉密数据安全难以保障。由于科技管理业务的条块化分割及其他方面的原因，大多数数据处于碎片化存储阶段，各省很难有同一机构保存科技管理的全部或者大多数原始数据，也很难在所有权层面实现科技资源的重新整合。虽然有学者提出“科技云”这一概念，以期在资源供给层面减少科技信息资源服务的复杂性，但实际操作中总在一些技术层面存在无法逾越的壁垒，需要通过研究相关理论、制定相关政策法律等以保障实施。科技管理部门并非不愿意主动开放科技管理大数据平台，很大一部分原因是地方科技管理部门对科技管理数据的研究并不充分，对相关数据哪些可以公开、哪些包含隐私信息、是否涉密等问题，缺少专门机构梳理和研究，在一定程度上影响了科技管理数据的有效利用。2.5缺少专业化人才团队。科技管理大数据建设不仅需要数据科学、软件开发等方面的技术人才，也需要相关政策理论研究人员、科研管理人员参与其中，缺少复合型的专业化人才团队已成为地方科技管理部门开展大数据平台建设遇到的突出问题之一，管理决策部门还停留在经验决策阶段并不擅长应用大数据环境下的分析，数据分析部门并不了解底层数据逻辑无法有效建模，平台开发人员不理解科技管理业务逻辑无法有效设计并开发数据模型及业务系统接口，科研管理人员对科技管理大数据应用的需求也很难转化为大数据平台开发者需要的模型。

3地方科技管理大数据平台模型及服务模式实例

在科技管理大数据平台建设方面，已开展了一些共性方面的研究，比较一致的做法是将科技管理大数据平台按科技管理服务内容划分为若干子平台。如许秀梅[15]提出的基础条件子平台、科技研发服务子平台、成果转化与交易子平台、产业科技大数据服务平台；李欢[16]提出的科技战略子平台、技术产业化平台、科技研发子平台等。这些平台构建模型，根据科技管理各项业务进行划分，是对现有科技管理体系的改良，将原先分散在各个不同机构的科技管理业务整合到一个平台上，从而解决原先各个科技管理业务系统间相互关联性不足的问题。2017年，安徽省科学技术情报研究所提出“十三五”期间要建成“一个智库、一个中心、一个服务基地”，其中“一个中心”即建成科技管理大数据中心。本文以此为实例探讨科技管理大数据平台建设实践问题。3.1数据融合策略。通过安徽省科技管理大数据平台建设项目实践，本文提出科技管理大数据整合的策略：一是尽可能升级系统，拓展数据接口，互通互享公开信息；二是某个机构承接科技管理数据的使用权；三是通过制定统一的数据汇交标准、数据汇交管理办法等搜集科技管理数据；四是必须与有知识产权的数据商合作。通过上述策略，实现从离散数据到大数据，从大数据到大情报，从大情报到大决策的转变。在大数据管理及数据融合方面，采取行政手段与数据交换相结合的方式，一是将原有安徽省科技管理信息系统升级，并预留与其他业务系统的接口，如安徽省政务服务系统、科技文献服务平台、科技成果登记系统、科技报告服务系统、成果奖励系统、各类科技统计系统、财政支付平台等；二是将不适宜重构的其他科技管理大数据相关业务系统的业务、管理与后台支撑分离，不影响业务的开展，同时将数据的使用权集中于一个机构；三是对于极少部分存在数据主权争议的系统，通过行政手段制定数据交换制度，虽然在一定程度上影响了数据的时效，但保证了科技管理大数据的完整性；四是采购专业数据商的可信社交媒体数据，并与专业数据商合作，开展全部科技管理大数据整合加工工作。3.2平台模型与服务模式。在尽可能获取科技管理相关大数据的基础上，借鉴吴信东等[17]提出的“从大数据到大知识”的HACE+BigKE模型，提出安徽省科技管理大数据平台数据融合框架及平台整体架构（见图1）。该模型主要展现地方科技管理大数据池的数据来源，包括科技计划项目、科技成果登记、科技统计数据、地方专家库、专利信息服务及科技成果奖励等；单位自建的科技文献平台及可交换数据的大型仪器共享平台等；采购来自专业数据商的社交媒体数据。同时，该模型还实现了安徽省科技管理大数据平台主体架构。数据池外层是各项数据挖掘算法，如最基础的中文分词系统，专家画像所需的聚类及关联规则算法，项目评审所需的基于深度学习的专家推荐系统，成果转化推荐所需的协同过滤算法等。最外层是整个科技管理大数据的统一服务平台，对外主要分为四大类服务，即面向社会公众的开放数据服务、基础条件服务、统计分析服务等，面向宏观科技管理决策的深度分析与情报支撑服务，面向科技研发的嵌入式信息服务，面向成果产业化的技术转移与成果推介服务等。同时，还需要有移动App及微信小程序等移动端服务的支撑，以适应当前用户的使用习惯。本文以面向科技研发的嵌入式信息服务为例，说明地方科技管理大数据平台如何嵌入科研项目流程，提供面向科技研发的嵌入式信息服务（见图2）。面向科技研发的嵌入式信息服务需要结合创新主体的科技研发需求，主动对接、参与重大科研项目的研发活动，体现对重大科研项目的支撑作用，主要实现科技文献辅助、专利分析支持、创新资讯检索、文献资源检索、科技政策咨询、技术难题找专家或团队等业务功能，实现以科技项目研发活动为中心，嵌入科技研发链各个环节，面向重大科研项目的精准化、链条化信息服务模式。

4推进地方科技管理大数据建设的建议

大数据平台建设是一项由问题驱动的工作，涉及数据科学、算法设计、管理科学、软件开发等多方面工作，本文通过安徽省科技管理大数据平台建设的实践，提出地方科技管理大数据建设相关对策。4.1加强理论研究，形成体系方案。理论模型对于科技管理大数据平台的建设至关重要。“首都科技大数据平台”的招标中，关于平台架构及其服务模式的理论研究预算几乎是平台软硬件建设预算的2倍[18]。在开展安徽省科技管理大数据平台建设项目前，通过申请软科学专题研究项目、内设调研课题等方式，梳理涉及数据方面的问题，主要包括科技管理大数据覆盖范围、如何解决涉密和隐私数据问题、如何建立科技管理大数据平台模型、如何保障跨系统数据汇交及大数据平台的创新服务模式等方面问题，并在取得的理论研究成果基础上，成功申请省级重点研发项目，开展科技管理大数据平台建设。4.2做好顶层设计，开展精准服务。在设计科技管理大数据平台时，充分调研各类用户对科技管理服务需求，社会公众、政府决策、科学研究（智库）、企业科技攻关等，各自需要什么样的数据服务，最终实现四大类精准服务。一是面向社会大众提供基础性信息与数据公开服务，通过分析用户的检索词、页面停留时序分析等技术，将科研成果向潜在用户进行关联推送；二是面向科技管理决策支撑的情报数据服务，如提供低人力成本的智能化产业分析报告、计划项目管理关键环节的数据统计支撑服务等；三是面向科学研究的支撑服务，如科研院所引进人才时的人才评价数据服务、相关科研领域的科技报告数据服务等；四是面向重点科技攻关项目的嵌入式服务，通过用户分析，主动推介科技管理相关数据，如项目申报阶段，提供相关文献、政策指南等公共服务及项目查新等定制化有偿服务等，实现对重点研发项目的支撑作用。4.3融合地方特色，深化服务内涵。数据只有用起来，才更有价值。在需求基础上，还要进行拓展研究，对共性需求的数据服务需要做精做深，最大限度地保证科技管理大数据平台源于需求又高于需求。在地方特色方面，根据地区创新发展情况，全部或部分使用平台数据，编制并向社会公众《安徽省各城市创新能力评价》等，实现大数据平台对创新的宏观辅助功能；面向相同产业研发机构的共性需求，与地方情报服务机构共建特色产业知识服务平台等，将大数据平台服务延伸至市县的创新型园区，既有线上的数据服务，也有线下的需求反馈及服务支撑。4.4确保数据可信，减少主权争议。科技管理大数据既包括科技管理过程产生的数据，也包括科研项目涉及的科学数据、文献类资源，以及来自社交媒体的相关互联网数据，任何一个机构独立做好科技管理数据的集成整合都是非常困难的，必须强调协同合作。一是与数据主权单位的协作，二是与数据加工商的协作，保证数据源的可信度，在此基础上的大数据分析结果才能更加准确。解决数据主权争议，一是在技术实现层面，借助科技管理信息系统升级，预留与其他相关系统接口，互通互享数据；二是主动承接机关科技管理事务性工作，做好各类科技管理、科技统计、专利服务等相关信息系统后台网络支撑服务，确保数据能实时可用；三是通过行政手段，制定数据交汇相关政策，保障数据更新频次；四是与国内知名数据商合作，避免文献类资源的知识产权争议。4.5“走出去，请进来”，共建科研团队。为保障科技管理大数据建设持久开展，必须坚持“走出去，请进来”的原则，一是将对已有团队进行扩充，与省内相关大学共同培养科研人才；二是邀请省内大数据相关知名学者参与大数据平台研发工作，通过修炼内功与外部辅助，打造专业的大数据研发服务团队。

5结语

数据平台范文篇5

关键词：高职院校；公共数据平台；安全建设；分析

现在的市场经济的发展速度愈发的快速，国家对高等职业教育的发展也重视起来，并提出了相关的战略计划，让高职院校的发展能够更加的迅速，近几年，高职院校的规模在全国都在一直的扩大，为了促进高职院校的发展，高职院校的教学体系以及安全管理正慢慢的完善起来，但还是有一些高职院校的相关水平达不到维持发展的要求，需要根据院校自身的情况来把业务进行拓展，让每个业务可以结合起来组合成一个完善以及安全的公共数据平台，只有通过这样的手段才可以把每个业务之间的信息进行共享，把院校的教学质量和教学生平提高起来。在把数量比较大的信息数据资源进行整理的时候，需要把信息资源的优势给整理出来，让他们的优势发挥出来。高职院校在进行公共数据平台建设的时候，会被业界各方讨论，教育部在这方面需要对高职院校进行传统观念的改变，将意识转变过来，把公共数据平台的安全建设融入进高职院校当中，把院校的信息管理不断的更新、完善，把公共数据平台安全建设进行加强，这样才可以把高职院校的教学水平给提高起来[1]。

1建设高职院校的公共数据平台的重要性

1.1公共数据平台可以为高职院校提供相关的信息依据公共数据平台的建设需要把教育部门所的文件以及评估的标准用来进行参考，所以公共数据平台和我们国家的教育改革发展有相同的方向，在进行公共数据平台建设的时候，可把高职院校的教育重点工作给体现出来，还可以体现出教育改革和发展方向的重要性。在进行制定公共数据平台的时候，可以从中挖取出高职院校的特点和人才培养的方向，这也可以把高职院校的基础信息以及社会的响应力给体现出来[2]。1.2公共数据平台可以把数据信息进行整合。高职院校在李彤公共数据平台的时候，用的主要方法是分析统计法，把院校里面的各种信息数据整理起来，然后通过转换变成院校希望得到的信息数据，把这些数据用过传输的手段输送到每个子系统里面，或者就在平台上进行评价，把数据进行分类变成单独的数据串，通过数据的手段来对数据串上的信息进行即使的补充，把每个数据链进行相关的对比分析，可以把高职院的年度工作都城货以及院校的实力给分析出来，把分析出来的问题进行评价，为了院校以后的发展可以打下很好的基础。1.3在高职院校中公共数据平台可以起到很好的发展作用。高职院校的行政管理工作需要很多的决策，而准确以及安全的却侧所带来的的使公共数据安全的有效数据，只有公共安全平台的数据准确了才可以在做出决策的时候有相关的依据，这种循环是一直存在的。在高职院校当中的行政管理人员处理高职院校的日常事务的时候，不用再和以前一样慢慢的进行每个系统的信息数据的考察，只要院校建立了公共数据平台，就可以从中取得院校内的所有信息数据，让管理人员和做决策的人可以更加的准确以及安全进行相关的工作[3]。公共数据平台的建立最初是为了进行培养人才、管理课程以及专业建设而创建的平台，其最主要的目的还是为了将院校的教学质量进行提高，在进行公共数据平台建设的时候，可以把社会的信息技术的了解，在高职院校的发展当中有着非常重要的地位。1.4高职院校的内部管理在公共数据平台当中可以进行加强。把公共数据平台建立可以让高职院校中的教职人员可以十分方便以及快捷的进行信息资源的获取，可以把高职院校里面的管理技术提高。高职院校的管理工作使用传统的方法是需要由上级领导慢慢的传递到下层领导当中，这种传递的联系方式会让院校的日常处理工作十分的慢，在这种管理的过程当中，会导致一些信息的丢失，导致信息的传达失误，在公共数据平台建立起来后，就不一样了，可以把高职院校里面的管理进行加强，院校内的教职人员只需要在平台当中进行信息的，把可以把相关的信息进行传递，让层层传递的信息出现失误的概率不在发生，从而把高职院校管理的效率提高起来[4]。

2高职院校内公共数据平台建设的问题建议

2.1公共数据平台的机制完善。在高职院校里面进行公共数据平台建设的时候，需要把资金的投入量增加，引起高度的重视，把公共数据平台的工作机制进行不断的完善，把这项工作作为重要的工作来完成。教育管理部门需要对相关的公共数据平台的建立进行引导，让公共数据平台的建立作为高职院校的重要考核标准，把安全建设的工程进一步实行，把建立平台的准则进行制定，从校领导到相关的部门，需要起到带头的作用，让全校的师生都引起重视。除开这些，高职院校还需要把公共数据平台进行更加深入的优化以及完善，把公共数据平台的准确性以及效率性提高[5]。2.2公共数据平台功能的优化和拓展。在公共数据平台里面，院校的很多日常事务的信息数据都被记录在其中，把公共数据进行完善的同时，需要把平台更多的功能给挖掘出来，并进行相关的优化和拓展。把院校的公共数据平台和全国的数据进行结合，把校园的信息进行价加密处理，可以享受到全国的数据资源。2.3公共数据的分析工作需要做好。公共数据平台在进行数据资源分析的时候会十分给力，同时也可以将数据资源进行反馈，就可以让院校的管理和抉择拥有更好的条件。在现在的高职教育当中会有一个共同的问题，教学特色的缺少，很多的院校的教学特色不够完善，课程的体系比较乱，为了将高质量、高水准的人才培养出来，需要把教学建设加强，从公共数据平台上反馈当中进行改进。

3总结

综上所述，在高职院校里面，安全的建立公共数据平台对高职院校未来的发展有有着至关重要的作用，在公共数据平台建设完成了之后，需要进行不断的完善它的工作机制，把公共数据平台的功能进行优化，把各个遇到的问题提出分析，才可以让高职院校的信息数据可以安全的发展。

参考文献

[1]黄慧清.浅析人才培养工作状态数据采集与管理平台在高职院校管理中的作用[J].广东职业技术教育与研究,2019(3).

[2]李杨.人才培养工作状态数据采集与管理平台在诊改工作中的作用[J].职教研究,2018(1).

[3]谭凯.高等职业院校人才培养工作状态数据采集与管理平台数据采集工作探析[J].南京广播电视大学学报,2017(2):72-74.

[4]马艳慧,韩莉.基于“诊改”基础的高职院校数据采集与管理平台建设的探索[J].科技创新与应用,2019(19).

数据平台范文篇6

智慧旅游是现在旅游行业发展的趋势，国内各省市都想对本省的旅游资源进行整合，同时将旅游各项资源提供方联合，使政府管理部门，旅游企业、旅游者能够方便的获取到自己所需的资源。在当前旅游活动趋于散客化、常态化的前提下，对如何解决应用新媒体为潜在游客提供旅游信息，推广当地的旅游资源；旅游企业如何从过去游客（特别是散客）的旅游行为中抽取出不同的行为特征，以此为依据设计出满足不同需求的旅游产品，提高企业经营效率；旅游管理部门层面如何有依据的进行旅游规划方面存在的不足，需要从旅游大数据分析视角对平台进行改进。由政府旅游部门主导建立一个旅游信息服务平台，利用在互联网、业务系统形成的大量旅游即时数据，进一步指导旅游行业实践，更好地服务旅游者。既可以为潜在旅游者提供准确的，不同目标的旅游信息，还可以为旅游目的地的管理部门提供深度数据挖掘，实现高效的管理和游客营销。

2现有旅游管理平台数据方面存在问题

旅游管理平台的核心是数据，现有平台中数据是依据业务功能产生，数据之间的关联程度低，包括外部填报数据，旅行社数据，内部基础数据。数据在时间，空间上处于不同跨度，对游客旅游全流程数据缺乏统一规划，在未来需要完善旅游过程中的数据采集、统计、分析。现在旅游平台中数据源普遍存在三大类数据问题：第一、数据来源问题。主要包括：数据之间或和游客其它行为数据关联度不够，无法在数据统计中产生更大的作用；关键数据未被结构化和对象化；系统外部获取的数据较为单一，和系统内数据建立联系困难。第二、数据的关联性问题：旅游平台现有的统计对象与平台数据之间的关联简单，对象与对象之间的关联也缺乏以游客关键字段作为主线来串联，使得对现有数据挖掘，只能针对不同阶段的数据进行不同维度的基础统计描述来获取对游客特征的概要描述。第三、数据主要是结果性数据，缺乏过程性数据。

3智慧旅游数据改进建议

大数据的潜在价值可以通过数据的“复杂性”和“关联性”体现出来的，如果从平台中能够得到想要的复杂数据，我们可以为景点画像，知道什么消费水平的游客爱在什么时间段会进入景点，这样景点根据游客数量与消费习惯进行资源调配和营销活动。可以针对性为游客画像，比如通过对强相关数据的分析，一个可以提供这样数据的平台才是改进的目标。需要从以下几点对平台数据发展提出对策。3.1增强多方数据的关联性，完善数据网络，从注重旅游数据的“状态和结果”，到注重旅游数据的“过程”。从非旅游政府到旅游企业，从不同角度和视野，反映出整个旅游行业的游客的流向。旅游平台如果具备了从多个数据源采集来的关联化、结构化和过程化的数据集，就可以充分了解和掌握旅游的总体情况。再对这些累积形成的大数据按不同主体，例如某旅游区对全国各省市吸引度模型分析，基于时间序列的到某城市旅游游客数量预测模型，旅游游客消费行为特征模型，旅游游客满意度分析模型等。这样旅游过程中的规律就能很清晰的呈现出来，从而反作用于旅游业，实现真正的“智慧旅游”。3.2丰富数据采集方式，由单一被动采集变为主动收集+被动采集双管齐下利用信息化手段，丰富数据采集方式，提升数据的时效性。必要时利用行政手段，建立以主动数据搜集为主，被动数据填报为辅所谓综合数据采集机制，在此基础上，加强数据同步反馈，及时应对旅游突发事件。通过主动+被动采集的架构，实现两种采集方式的数据自我校验。3.3平台应建立专门的旅游数据中心当旅游数据实时采集机制建立后，数据的关联关系更为关键，如果平台缺少自身具有关联的数据采集，仅仅数据价值的增长率远远小于数据量增长率，大数据分析也就无从谈起。针对游客，平台数据服务可以提供更加自主的、参与度强的旅游体验与服务。针对旅游服务提供者，平台数据服务可以通过平台的大数据形成游客识别和分类模型，景区可以依托平台数据分析能力，实现景点客流趋势监测预警、景区检测、游客导航服务等功能。针对旅游监管部门，平台数据可以针对旅游行为的各个环节监管模型，量化为旅游指数。监管部门通过定期对各层级的旅游指数监控就可旅游行为的健康程度。

4发展方向

受构建的历史因素影响，目前的平台数据主要以监管和登记备案为主要用途。在当前大数据和信息化的时代，智慧旅游的不断发展，应在保持原有功能和用途的基础上，逐步将需求从监管为主，转变为一个综合的旅游数据中心。搜集各方面旅游相关数据；整理、关联和结构化搜集的数据；统计和挖掘数据所包含的有价值的信息，为各种相关的分析、决策和应用提供服务。

【参考文献】

[1]曹宁，郭舒.大数据时代旅游产业链的重构、产业趋势与对策[J].渤海大学学报(哲学社会科面向大数据的旅游微观数据信息平台研究学版)，2015，(4)：64-67.

[2]张凌云，黎逶，刘敏.智慧旅游的基本概念与理论体系.旅游学刊，2012，27(5)：66-73.

[3]张建涛，王洋.大数据背景下智慧旅游管理模式研究.管理现代化，2017，(2)：55-57.

数据平台范文篇7

关键词：农业大数据；可视化平台；地理信息系统；云计算

1概述

我国温州市农村面积大、地域广，在国家、省、市各类农业信息化政策的指引下，近年来积极开展农业信息化建设，建设了农产品/禽肉溯源查询平台、农产品质量监控系统，提升了农业管理与服务的信息化水平[1]。尽管如此，温州市农业信息化建设仍存在一些问题，农业信息化工作仍需要进一步利用大数据挖掘、数据空间可视化等技术，挖掘农业大数据的数据价值，发挥农业信息化的优势。在国家、省、市政策背景驱动和各级领导部门积极响应的大环境下，围绕当前温州市农业发展问题，提出建设温州市农业大数据可视化平台的构想，旨在研究融合物联网、云计算、大数据、地理信息等先进技术，整合全市农业时空信息资源，建成全市农业大数据中心，全面掌握农业资源底数；开展农业大数据可视化平台建设，直观、动态地显示各类农业资源的空间分布状况，分析评价农业资源变化及利用效率，深度挖掘农业信息资源价值，提高温州市农业资源管理水平，促进农业可持续发展。因此，温州市农业大数据可视化平台的建设对于温州农业农村信息化发展水平的提升具有重要意义。

2农业大数据可视化平台建设内容

主要建设内容包括农业大数据中心建设、农业大数据统计分析模型构建、农业大数据可视化平台建设等3部分。通过农业大数据中心建设，建立数据采集、运算、应用、服务体系，为大数据可视化平台建设提供大数据支撑，农业大数据中心拟以永嘉县为试点开展建设工作。农业大数据统计分析模型构建则是通过对农业大数据中心各农业资源数据间的关联分析，结合农业领域需求，确立综合的多因素影响因子，应用关联规则、聚类、时间序列等数据挖掘模式，最终建立农业大数据分析模型，为农业可视化平台中的智能统计分析、空间决策分析等功能实现提供模型支撑。农业大数据可视化平台建设利用大数据可视化、地理大数据、并行处理等技术对农业大数据资源进行综合、全面展示，对农业大数据潜在规律和模式进行清晰、有效的传达，使用户快速获取所需信息，保障农业生产管理科学化决策。2.1农业大数据中心建设。农业大数据中心是一个集空间数据、属性数据与大量文本（图片）信息于一体的海量农业大数据库，涉及多年份、多学科、多专业的数据内容[2]。温州农业局现有数据包括地表农业覆盖数据、各类作物种植区产量、特色种植范围（猕猴桃、葡萄、柚子）、土地确权数据、反映历史农田变化的影像数据以及农业休闲、民宿、农家乐、电商等类型数据。项目在整合现有数据基础上，结合项目分析可视化需求，将数据建设内容归纳为基础地理数据、农业区划数据、农业资源数据、农村经济数据、农业休闲旅游数据、农业监测数据、农业电商数据、农业灾情数据8大类。通过数据整理、数据处理、数据建库、数据管理、数据服务等一系列环节建设农业大数据中心，为农业大数据可视化平台建设提供大数据支撑。2.2农业大数据统计分析模型建设。在充分分析现有农业大数据成果情况的基础上，结合农业领域在种植、销售、物流、旅游等方面的实际问题，研究探讨如何利用农业大数据为解决相关实际问题提供信息化决策服务，并研究建立农业大数据分析成果目标、统计分析模型和可视化展示方式，为农业大数据可视化平台中的智能统计分析、空间决策分析、农业资源利用评价等功能建设奠定理论基础。2.3农业大数据可视化平台建设。建立农业大数据可视化平台时，采用GIS技术对农业资源数据进行空间和时间化组织[3]，统一全市的农业信息资源，建立一张权威、现势性高的农业资源底图。在此基础上，融合数据融合、数据挖掘、大数据分析等技术，结合农业空间布局和农业资源评价模型，对农业资源信息按不同视角、不同维度进行分析，从宏观、中观、微观等多个层面为各级农业生产管理部门提供农业资源信息综合统计、预测预警分析以及各类专题图表输出功能，实现对农业大数据的数据挖掘和可视化，为掌握现状、制定政策、未来预测提供辅助支持，保障农业生产管理的科学化决策。其中农业大数据可视化平台具体建设内容包括：（1）农业资源一张图。依托实时、动态的农业大数据中心，构建全市农业资源一张图。集成农业区划、农业资源、农村经济、农业休闲旅游、农业灾情等多源、多级、多专题数据，基于资源目录的形式对各类数据进行有序组织，并在地图上叠加展示各类农业数据，为全市农业产业发展规划、结构调整提供各类潜在信息，提高管理决策能力。（2）农业要素精准定位。基于电子地图对农业资源及相关要素进行精准定位，能精确定位每处农业资源、休闲旅游、农业灾情等信息，并逐层反馈全市、区县、乡镇、行政村等区域的农业资源分布，把握全局和局部情况，便于精准管理和辅助决策。（3）智能统计分析。对各类数据进行智能统计分析。可以按时间、区域、行业等多种方式对数据进行统计分析，可以从不同视角展现数据内容；支持数据的横向、纵向等不同维度对比分析以及历史和现状的对比分析；可以对历年的历史数据进行分析，制定分析模型和预案，自动化研判潜在漏洞和风险。可以选择不同统计展示分析方式，如热力图、柱状图、饼状图、折线图等。各种数据的统计分析支持数据和图表的导出。（4）空间决策分析。利用空间布局模型，进行农业资源的空间布局决策，包括适宜性分析、发展潜力分析等，确定优势农业资源的区域布局，促进农业资源在不同的区域层次得到有效的利用。（5）农业资源利用评价。通过对农业资源利用目标体系的研究，确定农业资源利用评估指标体系，以农业资源利用评价模型为核心，适时地对不同区域内农业资源利用及其空间分布状况进行综合评价。根据评价结果，结合农业资源利用的动态监测，对农业资源利用未来发展的变化趋势进行预警预报。（6）物联网数据接入与应用。接入已有的各类农业生产智能监控设施，并在平台上予以展示应用，实现对农作物生长全生命周期监控、获取各地区农业生产活动开展情况。另外也可将农产品智能化物联网监控示范点数据接入到平台中，实现7*24小时连续采集和记录监测点位的空气温湿度、土壤温湿度、叶面光照度、室外光照度等各项参数情况，实现对作物生长过程实时环境数据的状态监控、异常预警、动态变化跟踪。

3农业大数据可视化平台关键技术

3.1数据挖掘。利用数据挖掘技术，提炼农业大数据潜在模式和规律。项目建设过程中借助数据挖掘技术，应用关联规则、聚类、时间序列等数据挖掘模式，对多源农业资源数据进行深层次的关联分析和挖掘，发现农业大数据内在规律和模式，用数据支撑相关农业决策制定，促使农业管理更加科学化、精细化。3.2地理大数据。通过依托地理大数据技术，提供丰富、准确、动态的农业资源信息服务。平台建设时将根据各类基础数据与专题数据应用的特点，对平台涉及的时空信息数据进行分类，最大限度挖掘数据利用价值；通过整合包括多比例尺的矢量数据、多分辨率及不同时相的影像数据以及其他应用相关的专题等信息，建设全市农业信息资源的集散中心，依托多终端、不同网络覆盖的分析可视化平台，为政府领导管理决策、部门业务工作等提供丰富、准确、动态的农业资源信息服务；为满足用户更为深入、灵活的应用需求，平台还可以根据应用主题，对现有或扩充的基础地理信息、专题信息进行重组、智能运算与挖掘分析，形成具有特定主题的信息资源，如业务主题信息、区域主题信息、时空主题信息等。3.3大数据可视化。基于大数据可视化技术，提供更为清晰直观的数据洞察力。根据农业大数据时空特性和应用需要，项目充分融合了大数据可视化技术，借助各类统计图表、分布热力地图、时间序列图等多形式，将农业大数据进行准确、直观的展现，从而帮助用户快速理解数据，找出海量农业数据中的规律，提取有用信息的方式。3.4分布式数据存储处理。通过运用分布式数据存储和处理技术，实现海量农业时空数据高效存储与并行计算。传统关系型数据库难以支持海量农业时空数据的存储与统一管理。平台建设过程中运用Hadoop的分布式文件系统HDFS提供的分布式存储方法[4]，各数据块存储在不同的数据节点，实现海量农业时空数据分层、动态分配存储，从而有效提高数据读写性能。另外以Hadoop的MapReduce分布式计算模型[5]为支撑，实现海量农业大数据并行处理与计算，从而快速响应用户需求。

4农业大数据可视化平台实施路线

依托物联网、移动互联网、云计算、大数据和3S等技术[6]的感知、信息传输、数据计算和空间显示，围绕温州市基础地理数据、农业区划数据、农业资源数据、农村经济数据、农业休闲旅游数据、农业监测数据、农业电商数据、农业灾情数据等8大主题，建设农业大数据中心，为农业大数据可视化平台建设提供大数据支撑。同时，研究建立农业大数据分析成果目标、统计分析模型和可视化展示方式，为农业大数据可视化平台中的智能统计分析、空间决策分析、农业资源利用评价等功能建设奠定理论基础。在此基础上，建立农业大数据可视化平台，采用GIS技术对农业资源数据进行空间和时间化组织，统一全市的农业信息资源，建立一张权威、现势性高的农业资源地图，融合数据融合、数据挖掘、大数据分析等技术，结合农业空间布局和农业资源评价模型，对农业资源信息按不同视角、不同维度进行分析，从宏观、中观、微观等多个层面为各级农业生产管理部门提供农业资源信息综合统计、预测预警分析以及各类专题图表输出功能，实现对农业大数据的数据挖掘和可视化，为掌握现状、制定政策、未来预测提供辅助支持，保障农业生产管理的科学化决策。总体技术路线如图1所示。

5结语

我国正处于农业信息化建设的关键时期，通过GIS与云计算技术对温州市农业大数据平台进行研究与建设，可加快农业生产全过程的信息化改造，全面实践数字化农业体系变革。农业大数据可视化平台的合理建设，将促进农业生产管理更加精准高效，从而推动农业提质增效、拓宽农民新型就业和增收渠道，最终提升农业生产管理效能。通过对农业大数据可视化平台建设内容、关键技术、实施路线进行逐一分析，并对具体技术方案展开探讨，可为国内农业大数据可视化平台的建设提供有效参考。

参考文献

[1]杨艺,朱翠明,王霞.我国农业信息化建设存在的问题,成因与发展对策研究[J].情报科学,2019,37(5):53-57.

[2]姜侯,杨雅萍,孙九林.农业大数据研究与应用[J].农业大数据学报,2019,1(1):5-10.

[3]苏奋振,吴文周,张宇,等.从地理信息系统到智能地理系统[J].地球信息科学学报,2020,22(1):2-10.

[4]李涛,冯仲科,孙素芬,等.基于Hadoop的气象大数据分析GIS平台设计与试验[J].农业机械学报,2019,(1):180-188.[

]彭大为.基于MapReduce技术的WebGIS系统研究[J].江西科学,2019,(5):28.

数据平台范文篇8

关键词：机构改革；档案事务；大数据管理

一、档案事务服务管理平台创建背景

2019年，机构改革向市县两级推进，各省不管是组建新的档案机构，还是对原机构的重组，机构职能都有变化，新的机构设置模式出现“档案+”、“+档案”、“档案组合”的形式，实现了职能相近部门的整合，达到“1+1>2”的功能。但也出现了运行机制不够顺畅、档案事务服务查询办理出现盲区且效率低等问题。档案馆内增设档案信息资源中心很有必要，其主要职责是协调、联系、承接档案局相关档案（史志）事务性工作。建立档案事务服务平台，由懂业务、素质高、具有行政审批权限的档案管理人员运营，将传统纸质、人工管理模式转变成信息化管理过程，拓展档案利用空间，推动档案局、馆政事工作良性运转，促进档案行政管理工作更加公开透明、科学合理、精准高效。

二、平台建设主要内容

通过综合运用大数据分析，移动互联、物联网、GIS《地理信息系统》等先进技术，围绕一个中心，六大子系统和两项创新应用“1+6+2”模式开发建设，构建综合协调一体、联通共享开放、安全规范高效的档案事务服务“大数据”管理平台。1.“1”即档案信息资源中心档案信息资源中心中心通过对内、外部数据资源标准化整合、封装，利用服务开放平台向内、外部提供信息服务，包括档案信息查询库、档案业务办理库、核对报告库、统计分析库等。首先，对档案事务服务信息等各项数据进行采集并初步建立数据库雏形；其次，围绕数字档案馆（室）创建，全面推进档案信息化建设，以数字档案馆（室）创建为载体，继续完善馆（室）一体化系统建设，不断拓展系统应用，最终实现档案馆（室）之间整体联动。通过与档案馆、共享交换平台、信息中心、核对平台、档案信息平台等对接，实现数据联动核查；第三，通过平台处理档案业务工作，积累和沉淀数据，不断完善信息，实现数据动态更新和多部门共享联动。2.“6”即六项子系统（1）“一门受理、协同办理”子系统依托信息化手段和标准，利用县（区）档案馆、图书馆等服务窗口，微信、微博等服务端口，引入“一门式”受理设计理念，建设面向公众的档案事务服务管理系统，即“前台一门受理、后台协同办理、中心一头管理”运作模式，“前台一门受理”，提供统一标准化业务申请；“中心一头管理”，系统自动检索历史信息，进行实时核对核查；“后台协同办理”，后台通过流程设置智能匹配到相关部门分类办理，并将结果反馈给各类人员。在街道、乡镇增设服务窗口，实时采集更新群众上传的数据信息并形成电子档案。档案部门可随时调取查验和打印使用，变纸质材料逐级提交为数据自动传输，推动全程电子化办公。在档案服务形式上，改革传统分散服务模式，创建“门联动、综合办理”的工作模式，联合政府相关部门出台指导意见，规范申请流程，统一电子文档资料，进行服务事项联动转办，建立会商机制，开展综合办理。（2）档案事务服务子系统建设市、省级统一的档案事务服务平台，优化申请审批程序，推动“一网通办”，解决档案政策叠加、多头管理、权责不清等问题。平台整合多个涉及民生档案服务业务，建设婚姻登记、扶贫救助、退伍登记、人口普查、建房审批、收养登记、教师名册等民生档案专题数据库，通过市、县、乡三级纵向互联互通网络平台，统一受理、分级审批、分口服务，在民生档案形成部门开通业务服务前台，以档案馆为数据支撑后台，建设档案远程查询服务体系，让档案信息多跑路，人民群众少跑腿，实现“就近办查询、远程出证明”利用目标，发挥档案在维护民权、服务民生中不可替代的作用。（3）专项查询子系统建设档案信息专项查询平台，将档案政策、服务对象和项目、责任单位和责任人、社会资源等碎片化数据与档案基础数据紧密结合，通过大数据平台，实现多级联动、一步到位；受理情况、明晰直观；办理政策、一目了然；查询轨迹、实时监测；互动沟通、直接方便；统计决策、智能科学；监督考核、有据可依。推进信息化技术利用在档案工作内部应用，通过对业务数据挖掘分析，为精细化管理提供支撑。探索建立档案服务阶段档案部门兜底承接机制，对未能办理的档案事务服务工作，通过平台进行联动求助转办，由档案部门提供兜底保障。（4）档案业务核对子系统建设档案数据核对子系统，建立跨部门跨层级、跨数据结构的一体化核对机制，通过数据共享实现档案数据核对创新。横向实现省市级档案数据交换平台与民生部门的数据共享；纵向打通与省核对平台、省信息中心的信息核对接口。系统针对业务办理对象的基础信息，核对授权、报告等内容自动沉淀，形成档案信息数据库，通过对数据快速检索，实现档案事务信息查询、报告调阅、分析评估等功能，确保核对信息准确无误，通过对数据比对、分析、校验变被动核对为主动筛查，实现主动发现、智能识别、定期评估与预警提醒，提升核对核查能力，推动档案事务工作精准识别。（5）预警监管子系统建设预警监管子系统，引入“互联网+监管”机制，对平台运行数据、行为、资金等进行全程留痕监察，构建监管数据库，全面归集业务办理对象基础信息、审批人员信息、申请审批行为信息、投诉举报信息、失信人员信息等，基于权限、时限、流程等标准设定构建可计量、检验、追溯、问责的综合监管评价指标体系，对业务办理事前准入监管、事中日常检查监管、事后处罚监管的全过程监管。事前监管包括设定工作流程与时限，业务办理人员、机构备案登记，智能校验所有填报数据信息等内容，不符合要求系统自动提醒；事中监管包括工作流程中短信、微信实时提醒，工作时限预警提醒等；事后监管包括工作超时不办、定期核对异常预警等内容。（6）数据分析决策子系统建设大数据分析决策子系统，根据需求对结构性或半结构性数据进行分析挖据、处理，通过导航仓、报表、图形等展示工具，形象直观展现业务服务状况及效果，为全局化管理、监控和领导决策提供依据。数据库归集业务办理数据信息，根据历年变化情况开展统计分析；以业务服务数据及行为轨迹为基础，建设档案事务服务诚信库，实现系统实时监督，一处失信、处处受限；联合研发单位和高校创立“档案信用指数”计算模型，进行打分排序，为今后工作提供参考依据。3.“2”即两项创新应用（1）移动端档案业务微查询办理应用在省市级政务便民服务平台首页开设档案事务服务专栏，提供档案服务直通车、政策、档案热线等服务；同时，开发以微信为入口研发两个手机移动端，即面向业务办理群众的服务版和面向工作人员的管理版。服务版包括政策速递、服务指南、掌上申请、一键导航、在线查询、掌上公示、监督举报等功能，公众通过微信扫码即可使用。服务版解决群众“来回跑、多部门跑”问题，变群众跑腿为数据跑路，实现业务申请一次办好，打通服务群众最后一公里。管理版包括在线受理、审查等功能，审查人员可通过手机移动端随时处理档案业务。积极推进行政审批档案信息化进程是信息化发展在行政审批领域的客观要求。审批人员通过手机端登录系统在线查询申报数据信息，方便基层核查审批，审批时限可比原来缩短三分之一。（2）档案事务服务智能搜索引擎基于海量数据处理技术、搜索技术，实现对业务查询办理结果等信息的快速检索，设定严格搜索权限，在查询过程保证个人隐私。使用民生档案搜索时，既可依据机构名称、法人证编号、姓名、身份证号等精准搜索；也可根据业务受理部门、业务类型、性别身份标签、年龄段、档案信用指数等选项关联统计搜索；此外，基于数据检索分析结果、用户和文本标签构建推荐模型，给用户推荐可能感兴趣的内容。

三、今后工作设想

针对改革后档案体制机制结构特点，创新档案行政管理体制与运行机制服务模式，更好发挥档案局、馆功能，促进档案事业健康运行。加快推进平台软硬件设施建设，还应加快相关工作推进：一是加快构建“一门受理、协调办理、部门联动、综合办理”档案工作机制；二是尽快开通所有档案事务服务工作模块，不断完善各项功能；三是引入“互联网+”、“人工智能机器人”等前沿科技，提升平台智能化水平，方便群众业务办理和档案信息利用，提高档案事务服务效能，焕发档案机构新活力。

参考文献

[1]许耀桐.党和国家机构改革：若干重要概念术语解析[J].上海行政学院学报，2018，19（05）

[2]任琼辉，徐拥军.辽宁省档案机构改革的特点与方向[J].兰台世界，2019，000（001）

数据平台范文篇9

关键词：分布式思维，云计算数据挖掘平台，架构设计

云计算技术应用价值较高，具有灵活性的特点。但海量数据之间会产生相互干扰，影响了既定的关联原则，需要提出一种基于分布式自适应的云计算数据挖掘算法，提高挖掘精度，改善传统算法中存在的问题，完善仿真实验性能[1]。

1线性思维下数据挖掘平台存在的问题分析

目前，我国处于信息化时代，使用互联网、移动设备端查询信息会产生较多浏览痕迹、数据等，如何存储、处理及挖掘数据是重要的技术问题。线性数据关联规则挖掘算法是数据挖掘平台设计的理论基础，需要运用智能化方式处理数据库中的信息，运用可视化技术、统计学知识、数据库技术、模糊识别、深度学习、机器学习和人工智能等多种领域的知识解决一系列的决策问题。以线性思维为主的数据挖掘平台的设计流程主要包含结果表达、数据挖掘及准备数据三个过程。数据挖掘平台的建立主要分为三个步骤，首先，应确定平台建立目标及搜集信息的方向，为寻找数据挖掘渠道、数据处理方式做铺垫。实验结果具有不可预测性的特征，技术人员需要熟练掌握相关知识，使得相关领域的用户及专家明确搜索需求。其次，需要做好数据准备工作，主要包括选择数据、预处理数据和转化数据三个关键步骤。可以通过对数据的再加工策略提高数据挖掘质量，通过分析数据的种类，运用数学模型进行数据重建对比。再次，需要建立数据之间的关联性，通过对比分析得到多组数据的共同点，结合用户浏览信息、实际需求及潜在需求，使用算法寻找特定的模型，创建数据挖掘模型。利用智能化工具完成最终的挖掘任务。由此可见，在线性思维情况下，选择某组数据进行测试时应尝试所有可能的方式，该组数据适宜的关联规则在计算过程中逐渐与原本的关联规则违背，在寻求最优化解决方案时，计算效率较低。

2分布式数据挖掘平台结构设计分析

云计算互联网平台主要有两个参与主体，包括云和端，可以摆脱原有架构的局限性，简化网站操作人员及访问人员的操作步骤，创造出更大价值[2]。

2.1内容分发网络实现云计算的技术流派

分配内容网络能够避免受到互联网中可能会对数据传输稳定性造成影响的缓解，筛选出核心内容，将其传递到核心节点中，提高内容传输过程的稳定性。从商业角度出发，CDN即批发即零售带宽及柜机资源的过程。为了降低系统的压力值，需要在互联网的节点处添加新资源，使得CDN厂商能够从此处承包，也可以从各地IDC处用优惠的价格批发各种资源，再用零售价格卖给用户，利润空间较大。分配内容网络能够有效突破性能平静，确保分发内容的稳定性与可靠性。

2.2DNS网关级别的超级

为了管理大量网站信息，云计算平台可以通过DNS的智能切换技术，在使用较为普遍的CS结构两侧使用智能化技术，提高操作过程的智能化水平，优化操作结构，缩短操作反应实践，创建出新一代的云计算互联网应用平台。此外，运用云计算的方式可以创建出DNS服务器集群，具有较大使用价值。

2.3网站访问日志分析

每个网站都会自主管理自己的日志访问记录信息，需要提升其规范性。通常情况下，一条标准日志的标准形式为“源地址—访问时间—访问形式—网址名称—访问类型—浏览器类型—操作系统内容—目的操作地址”。可以创建出一个数据仓库，在其中存放所有网站及用户的访问信息，完成数据挖掘任务，革新分配内容形式。网站会分析用户的网络行为特点，制定出相应的查询及反馈模式，增强数据结构性能，提高系统工作效率。

2.4网站内容的动态分发

除了超级大网，普通网站性能会随地域特点产生变化，可以根据用户所处地理位置信息将内容分配到处。在完成分配任务之后，会基于云计算的方式部署互联网，访问最近的地址，缩短用户的访问等待时间，提高用户使用互联网的效率。

2.5根据用户行为进行智能调度

数据仓库中储存着大量的用户行为特征信息。超级的架构将用户的行为特点作为搜索索引，避免运用DNS解析用户访问过程，只有经过多次跳转之后才可以访问目标网站。网络用户访问网站具有固定性，总数量较少，可以将其操作行为作为重要依据，设计出智能调度和分配机制，提高访问速度，增强网站的最大承受能力，丰富网站功能，给用户带来良好的体验感[3]。

3分布式数据挖掘平台中相关软件算法设计分析

冗余消除算法可对数据进行分类处理，消除传统算法中数据挖掘平台信息存在多余、种类繁杂或无关性、干扰性较强等情况，优化传统算法下建立的数据挖掘平台的不足之处。

3.1冗余消除算法的设计规则分析

冗余消除算法能够消除在云计算方式下由于数据关联性而产生的冗余干扰，在商业化推荐系统中具有重要价值。首先，基于用户的冗余消除算法需要对用户的日常浏览信息进行收集，判断用户个人需求并进行评分，使得同等分值之间的用户需求共享推荐。其次，基于相互的冗余消除算法会将所有用户浏览商品、购买商品次数作为判断其对商品的喜好程度，并推荐类似商品，计算该商品种类中，用户喜好商品与其他的相似程度。

3.2协同过滤相似度计算方法

使用向量模型计算出数据的相似程度，计算出向量之间的距离，根据远近成都判断相似度高低。为了判断关联程度，可以计算出两个向量的相关关系。对于稀疏性较高的用户，该矩阵的精确程度较低，难以达到理想效果，可以运用余弦相似度算法解决此类问题。

3.3冗余消除过程设计

若计算结果较为相似，可分析数据的计算过程及初始数据是否存在相似部分，给每个变量分配一定权重，设置调和参数。平均绝对误差是衡量用户实际数值和测量值之间的绝对误差水平，是重要的冗余消除算法评判标准之一。命中率标准包括查准率和查全率，网络数据分为推荐和不推荐两个部分。以用户搜索查找商品为例，搜索引擎中输入的是全类商品或精准到某品牌、某款式，代表着该用户对于同类商品的需求程度和该种商品的喜好，反映其对于数据查找的广泛性和搜索精准性的需要，依据此可选择是否推荐同类商品，若精准性需求较高，则不建议推荐。在选择算法的过程中，可积极引入新式算法降低权重，提高数据挖掘平台的精确度，使其分析数据能力提升。

4结语

互联网信息技术处于不断发展过程中，如何处理海量数据信息是重大难题。可以基于大数据处理技术建立起数据处理与挖掘平台，使用bookcrossing数据集进行测试，运用奖券的方式改进传统算法模型，增强改进后算法的计算能力，使其贴合现代社会需求，更加便捷化、智能化。

参考文献

[1]高锋阳，曾林，李昭君，等.分布式智能协同和云计算相结合的配电网故障选线新方法[J].电网技术，2021，45（8）：2969-2978.

[2]周东清，彭世玉，程春田，等.梯级水电站群长期优化调度云计算随机动态规划算法[J].中国电机工程学报，2017，37（12）：3437-3448；3671.

数据平台范文篇10

关键词:文本数据挖掘;LDA主题模型;用户评论;情感分析

1概述

随着科技的发展和人们综合素质的提高，越来越多的人选择网上购物，尤其是年轻人，大到汽车、家电，小到大米、蔬菜等农副产品。最近几年，生鲜类农产品成了电商发展的新方向，生鲜电商巨大的市场前景吸引了众多生鲜电商的积极入市，当前，苏宁、顺丰、京东、阿里巴巴等电商企业纷纷向这方面进军。这种网上生鲜电商的服务模式，得到了社会大众的青睐和认可。当前好多电商平台取消了对用户评论的分类，或者分类过于粗糙，缺乏指导价值，不利于商户和用户从大量的数据中提取有用信息。作为商品的经营者，面对激烈的市场竞争，除了提高产品质量、降低商品的价格、营销方式的变革之外，了解更多消费者的心声变得越来越重要，其中常用的方式就是对评论者的文本数据进行内在信息的数据挖掘分析，帮助企业和商家推出受市场欢迎的产品。同时对消费者而言，可以帮助消费者了解产品的优劣，帮助用户进行购买决策。本文从电商平台用户评论数据的获取、采集和分析3个方面分析了基于电商平台评论数据的用户情感分析的一般流程如图1所示。

2数据来源

经前期的市场调查，苹果在各种生鲜农产品中有着广泛的受众群体，营养价值高，老少皆宜，易于储存和运输，非常适合在网络上销售，无论自用还是送礼都有着巨大的消费量。因此本文选择京东商城生鲜农产品，以新鲜水果苹果为研究对象，对用户的评价进行情感分析。本文以当前销量排名第一的某品牌苹果阿克苏苹果为例，京东商城自营店将苹果产品的规格按果径大小分为75～80mm15粒，80～85mm15粒，85～90mm14粒，90～95mm12粒，95～100mm10粒，约100mm8粒6个级别，截至目前已经有累计69万+评论，其中好评28万+，中评3100+，差评2100+，数据量比较大，适合作电商用户情感分析。

3基于网络评价的农产品情感分析

3.1评论数据的采集

本文使用Python编写爬虫程序，从京东商城网站上采集某品牌苹果客户的评论数据。采集了用户编号、用户评分、评论内容、评论时间4个字段，并将采集到的数据保存MySQL数据库中，如图2所示。

3.2网络评论数据词云分析

对评论数据进行重复值处理、过滤短句等操作之后，将数据分别按好评、中评、差评存放在相应的文本文件中。其中评分大于3分的为好评，等于3分的为中评，小于3分的为差评。然后去除文本中的无用符号、过滤停用词，对文本进行jieba分词和词频统计。分别取好评和差评的前30个高频词用词云展示，如图3所示。实验结果显示，正面评价客户的评论主要是对产品质量和京东平台服务的肯定，评论点主要集中在口感、包装和物流;负面评价用户的评论主要集中在是否为真正的阿克苏苹果、有无冰糖心、口感、产品质量的稳定性，以及对京东平台客服的评价上。

3．3基于LDA模型的主题分析

3．3．1LDA模型介绍主题模型在机器学习和自然语言处理领域是用来在一系列文档中发现抽象主题的一种统计模型。潜在狄利克雷分配(LatentDirichletAllocation，LDA)是由Blei等人在2003年提出的生成式主题模型。生成模型，即认为每一篇文档的每一个词都是通过“一定的概率选择了某个主题，并从这个主题中以一定的概率选择了某个词语”。LDA模型也被称为3层贝叶斯概率模型，包含文档(d)、主题(z)和词(w)3层结构，能够有效地对文本进行建模，和传统的空间向量模型(VSM)相比，增加了概率的信息。通过LDA主题模型，能够挖掘数据集中的潜在主题，进而分析数据集的集中关注点及相关特征词。LDA模型假设每篇评论由各个主题按一定比例随机混合而成，混合比例服从多项分布，记为:Z|θ=Multionomial(θ)而每个主题由词汇表中的各个词语按一定比例混合而成，混合比例也服从多项分布，记为:W|Z，φ=Mulinomial(φ)在评论dj条件下生产词wi的概率表示为:P(wj|dj)=∑Ks=1P(wi|z=s)×P(z=s|dj)其中，P(wj|z=s)表示词wi表示属于第s个主题的概率，P(z=s|dj)表示第s个主题在评论dj中的概率。3．3．2LDA主题模型估计LDA模型对参数θ、φ的近似估计通常使用马尔科夫链蒙特卡洛(MarkovChainMonteCarlo，MCMC)算法中的一个特例Gibbs抽样。利用Gibbs抽样对LDA模型进行参数估计，依据下式:P(zi=s|Z－i，W)∝ns，－i(+β)i/∑Vi=1ns，－i(+β)i×ns，－j(+α)s其中，zi=s|标注词wi属于第s|个主题的概率，Z－i表示其他所有词的概率，ns，－i表示不包含当前词wi的被分配到当前主题zs下的个数，ns，－j表示不包含当前文档dj的被分配到当前主题zs下的个数。通过对上式的推导，可以推导得到词wi在主题zs中的分布参数估计φs，i，主题zs在评论dj中的多项分布的参数估计θj，s，如下:φs，i=ns，i(+β)/∑Vi=1ns，i(+β)iθj，s=nj，s(+α)s/∑Ks=1nj，s(+α)s其中，ns，i表示词wi在主题zs中出现的次数，nj，s表示文档dj中包含主题zs的个数。3．3．3运用LDA模型实现主题分析虽然LDA可以直接对文本作主题分析，但是为了避免正面评价和负面评价混淆在一起，并且由于分词粒度的影响(否定词或者程度词等)，从而可能在一个主题下产生一些令人迷惑的词语。因此本文将文本分为正面评价和负面评价2个文本，再分别进行LDA主题分析。根据采集数据时用户的评分，将评论分为正面情感结果和负面情感结果。如果评分大于3分为正面情感结果，小于3分则为负面情感结果。然后再分别对正面评价和负面评价文本进行jieba分词和过滤停用词，使用Python的Gensim库完成LDA主题分析。经LDA主题分析后，将评论文本聚类成3个主题，每个主题下生成10个最有可能出现的词语及其相应的概率。表1显示了某品牌苹果的正面评价文本中的潜在主题，表2显示了负面评价文本中的潜在主题。根据对某品牌阿克苏苹果好评的3个潜在主题的特征词提取，主题1的中高频词即某品牌、好吃、不错等，主要反映某品牌的苹果好吃，值得购买;主题2中的高频词京东、包装、好吃等，主要反映京东的运输和产品的质量;主题3中的高频词京东、好、不错、好吃等，主要反映了京东的服务和产品的质量。从对某品牌阿克苏苹果差评的3个潜在主题的特征词提取，主题1的中高频词即阿克苏、京东、冰糖心、失望等，主要反映的是对京东平台提供的这批产品的不满;主题2中的高频词阿克苏、糖心、京东、这次等，主要反映的是这一次购物的失望，跟以前的差距大;主题3中的高频词冰糖心、吃、口感、差等，主要反映了该阿克苏苹果口感差，与描述不符。综合以上主题及其中高频词的特征可以看出，某品牌阿克苏苹果的优势有以下几个方面:口感好吃、包装好、京东的服务好、值得购买。相对而言用户的抱怨主要是:品质不稳定，没有之前购买的好，在口感和大小上与描述的有差距。因此，用户的购买原因可以总结为以下几个方面:对某品牌和京东服务的信赖，对阿克苏苹果的口感和包装认可。根据对京东平台上某品牌阿克苏苹果用户评价情况进行LDA主题模型分析，笔者对某品牌提出如下建议。在保持产品良好的包装和性价比的基础上，稳定产品的质量，在农产品的分拣过程中严格把关，不能以小充大，以次充好，影响品牌在消费者心目中的形象。同时作为京东的自营商品，京东平台也要对销售商品负责，提供完善的售后服务，不能辜负了消费者的信任。

4结论与展望

本文完整地展示了电商平台下用户评论数据的采集和分析流程，经过对数据的清洗处理，采用词频统计和LDA主题分析模型，对用户的评论数据进行用户情感分析，以京东电商平台的生鲜农产品苹果为例，分析了客户对该产品的评价，并给出销售建议。由于条件限制，本次实验数据采集量有限，文本主题聚类效果不是很理想，今后可以通过加大采集数据量，对模型进一步优化，提升实验效果，并应用于其他产品和服务的分析。

参考文献:

［1］杜慧，陈云芳，张伟．主题模型中的参数估计方法综述［J］．计算机科学，2017，44(S1):29－32+47．

［2］BleiDM，NgAY，JordanMI．LatentDirichletallocation［J］．JournalofMachineLearningResearch，2003(3):2003．

［3］GaoJuan，XiaTian，LiJinTao，Adensitymethodforadap-tiveLDAmodelselection［J］．Neurocomputing2009(72):1775－1781．

［4］郭立秀，基于文本挖掘的生鲜电商顾客满意度研究［D］．西安:西安交通大学，2020．

［5］陈俊宇，基于文本挖掘的在线评论应用研究［D］．武汉:湖北工业大学，2020．