数据分析方案范文
时间:2024-01-19 17:50:37
导语:如何才能写好一篇数据分析方案,这就需要搜集整理更多的资料和文献,欢迎阅读由公文云整理的十篇范文,供你借鉴。

篇1
关键词: 大数据分析; 选课; 模型设计; 信息融合
中图分类号: TN911?34; TP391 文献标识码: A 文章编号: 1004?373X(2017)14?0030?03
Abstract: In order to improve the optimal allocation performance in students′course selection and utilization efficiency of curriculum resources, a design method of a course selection model based on large data analysis is proposed. The overall structure model of student optimal course selection model is constructed firstly. A large data analysis method is used to conduct information fusion and optimal access design of student course resource database to get comprehensive decision model of student course selection by combining adaptive equilibrium with grey correlation analysis. The program development is performed in Linux kernel. The cross compile environment for student elective system is established based on X86 architecture. A script menu is collocated in the virtual file system. HTTP server and telnet server functions are integrated in the network module to realize data sharing and remote transmission of the curriculum information. The system software development and debugging analysis results show that the course selection scheme model has good data analysis ability and strong reliability, and can realize the optimization configuration and selection of courses.
Keywords: big data analysis; course selection; model design; information fusion
S着高等教育深化改革和发展,为了更好地发挥高等院校的教学资源优势,结合学生的课程和专业的差异性,采用选课制进行课程搭配设计。这样既尊重了学生的个性化学习需求,也更科学地搭配高校的教学资源。选课制,也称课程选修制,允许学生对学校所开设的课程有一定的选择自由,对任课教师、上课时间以及进度仅有一定组合的选课机制,采用选课制教学,更有利于扩充学生的知识面,更好地整合高等教育的教学资源。然而,学生在进行选课中具有一定的盲目性和自发性,需要有效的信息系统进行指导,设学生选课方案优化信息管理系统,在大数据信息时代,对更好地利用高校的教学资源具有积极重要的意义。
1 学生最优选课方案设计总体构架
为了实现对大数据处理环境下的学生最优选课方案模型的优化设计,首先分析软件系统的总体结构模型,基于大数据分析的学生最优选课方案模型是建立在学生选课资源数据库的信息融合和优化访问设计基础上的,结合数据信息处理模型进行学生最优选课方案模型设计,采用LabWindows/CVI进行大数据处理环境的选课方案分析[1?2],结合均衡博弈思想进行选课资源的优化配置。学生最优选课方案模型系统建立在嵌入式操作系统Linux基础上,本文设计基于大数据分析的学生最优选课方案模型主要元件包括如下几个方面:
(1) 最优选课方案的特征采集计算元件(CE)。选课方案中对教育资源信息的采样频率大于200 Hz,寄存器基器件采用IEEE?488协议进行课程信息缓存和多线程输出,在集成控制中枢单元对课程信息进行特征提取和网格计算[3]。
篇2
[关键词]数字图书馆;数据备份;信息资源
[中图分类号]G258.93 [文献标识码]A [文章编号]1005-3115(2009)12-0094-03
数字图书馆在互联网技术、计算机技术、现代存贮技术的支持下以内容管理为核心。以海量信息处理、知识发现与技术加工为主要手段。以基于数据库和信息库的形式给大家提供了一个方便快捷的检索平台和信息中心。
数字图书馆作为网络信息资源的先进管理模式,核心是海量数据资源的管理和提供利用。数据资源是数字图书馆的基础,数据一旦破坏和丢失都将使数字图书馆的业务遭受致命性的损害。同时。计算机系统故障的发生也是多方面的,从计算机数据管理的角度看。小到误操作导致系统的破坏及丢失,中到硬件的损坏、存储介质的损坏,大到自然因素导致的火灾、地震、水灾等其他突发事件,都使数字图书馆的数据安全受到威胁。因此,建立可靠的数据备份系统保护数据安全。是数字图书馆建设的一项重要内容。
一、数据备份需求分析
计算机技术和通信技术作为数字图书馆的支撑技术,在信息的收集、处理、存储、传输和分发中扮演着极其重要的角色,大大提高了工作效率。但是。数字图书馆也面临一些问题,如系统失效、数据丢失或遭到破坏都时刻威胁着数字图书馆数据资源的安全。
(一)计算机硬件或软件故障
硬件故障主要指硬盘驱动器损坏,由于机器的物理损坏导致文件、数据的丢失;软件故障指系统参数设置不当,或由于应用程序没有优化造成运行时系统资源没有合理分配,或数据库参数设置不当等。
(二)外部人为破坏或自然灾害的破坏
这方面的破坏主要包括计算机被盗造成数据丢失;黑客侵入计算机系统,破坏计算机系统,造成数据丢失;病毒使计算机系统感染,损坏数据;自然灾害,如水灾、火灾、地震等毁灭整个计算机系统;电源浪涌,即一个瞬间过载电功率损害计算机磁盘驱动器上的文件;磁干扰,生活、工作中常见的磁场可能破坏磁盘中的文件。
(三)操作错误或对数据备份认识不足
在现实生活中,常见的操作错误包括人为删除文件或格式化磁盘等,这类问题的比例大约为80%。另外,管理人员对数据备份重要性认识的不足也是导致数字图书馆数据灾难的一个重要原因,廖利娟、杨应全在《高校图书馆数据备份调查分析》一文中指出:“在对当前部分高校(包括高等专科学校、学院、大学)图书馆的调查中得知备份意识淡薄的占12%,备份管理松散的占17%,存在侥幸心理的占24%。部分图书馆数据备份操作员无制度约束,对数据备份操作感到麻烦,存在侥幸心理,对备份媒体管理责任心不强,备份手段落后,这些都是造成数字图书馆数据灾难的隐患。
(四)备份媒体管理失控
在实际工作中,有的数字图书馆的数据备份工作做得很完美,但是,由于备份媒体得不到妥善管理也会造成数据灾难。以磁带备份设备为例。已经写入了备份数据的磁带应该归档存放,如果已经写入了数据的磁带继续放在磁带机里面,下次备份时新写入的数据就可能覆盖原来的数据,由此造成数据丢失。
二、数据备份的原则
对数据进行备份是为了保证数据的安全性,以达到数字图书馆的容载目的,最大限度地减轻数据丢失和毁损带来的灾难性后果,不同的应用环境要求不同的解决方案来适应。一般来说,数字图书馆的数据备份系统方案规划要满足以下原则。
(一)稳定性
数据备份的主要作用是为数字图书馆提供一个数据保护的方法,稳定性是其最重要的一个方面。数据备份一定要做到与操作系统的完全兼容,以达到备份系统的稳定性。
(二)全面性
在复杂的计算机网络环境中,可能包括了各种操作平台,如NetWare、Windows、Unix等,并安装了各种应用系统,选用的备份系统要能支持各种操作系统、数据库及各种典型应用。
(三)自动化
数据备份方案应能提供定时的自动备份,在自动备份过程中,还要有日志记录功能,并在出现异常情况时自动报警,这样就能减轻管理员的工作量,实现智能化的数据备份。
(四)安全性
计算机网络是计算机病毒传播的高速通道,给数据安全带来极大威胁。如果在备份的时候把计算机病毒也完整地备份下来,将会形成一种恶性循环。因此,在备份过程中要注意查毒、防毒、杀毒,确保无毒备份。
(五)简单性
数字图书馆的数据备份系统应用于不同的领域和应用程序中,进行数据备份的操作人员也处于不同的层次,这就需要一个直观的、操作简单的用户界面,以缩短操作人员的学习时间,减轻操作人员的工作压力,使备份工作得以轻松地设置和完成。同时,为了适应数字图书馆内部局域网的有效扩展,应该以备份服务器形成备份中心,对各种平台的应用系统及其他信息数据进行集中式的备份,系统管理员可以在任意一台工作站上管理、监控、配置备份系统,实现分布式处理、集中管理的特点。
三、数据备份方案的制定
一套完整的数字图书馆数据备份系统方案的规划包括硬件选择、容量确定、软件选择、策略的制定等,下面分别来介绍这几个方面。
(一)数据备份硬件的选择
数字图书馆的数据备份,就是使用较低廉的存储介质,定期将系统内部数据备份下来,以保证数据意外丢失时能尽快恢复,将用户的损失降到最低点。常用的存储介质有磁盘、磁带、光盘和磁光盘等,其中磁带的容量大,操作方便,易于保管,在大容量的数据备份方面应用得比较普遍,适合于数字图书馆的数据备份。
目前,磁带技术与产品主要分DLT和LTO几种。8mm采用螺旋扫描技术,是Exabyte公司的独立技术,但由于技术不开放,使得产品的市场占有率较低。HDLT原为Quantum公司的专利技术,现以OEM方式向多厂家开放,在大容量磁带存储市场上DLT技术占据了主导地位。目前,市场上使用的DLT8000磁带机是技术最成熟的磁带设备,它的读写速率压缩后可达12M/S,最新由HP,Seagate及IBM等厂商推出的ultrium磁带机采用LTO技术,这是一项开放的标准磁带技术,可确保来自不同厂商的ultrium磁带机实现数据的互换性。该磁带机可在两小时之内。将200GB压缩数据备份到单盘磁带上,从而将备份性能提升到新高,高达30MB/S的传输速率可实现更快速的数据备份和恢复。因此,在选择大容量磁带备份设备时,DLT和LTO磁带库应该是首选。在数字图书馆的建设中,磁带库通过SANl6J(Storage Area Network一存储局域网 络)系统可形成网络备份系统,实现数据的远程备份,”达到数字图书馆数据备份系统简单化、智能化的要求和分布式处理、集中管理的特点。
(二)数据备份容量的确定
确定数据备份容量的大小通常考虑以下几个因素:
数字图书馆内部网络中的总数据量,假定为01。
数据备份时间表(即增量备份的天数),假设用户每天作一个增量备份,周末作一个全备份,则d=6天。
每日数据改变量,假定为Q2。
期望无人干涉的时间,假定为3个月,则m=3。
数据增长量的估计,假定每年以20%递增,则i=20%。
考虑坏带,不可预见因素,一般为30%,则u=30%。
通过以上各因素考虑,可以较推算出备份设备的大概容量为:c=[(Ql+Q2*d)*4*m(1+i)]。(1+u)。
根据C的大小和单盘磁带的容量,再考虑一定容量的冗余,就可以选择需要多少槽位的磁带库。
(三)数据备份软件的选择
目前流行的数据库如Oracle,Sybase,MS-SQL等,均有自己的数据库备份工具,它们不能实现自动备份,只能将数据备份到磁带或硬盘上,不能驱动磁带库等自动加载设备,因此,必须采用具有自动加载功能的磁带库硬件产品与数据库在线备份功能的自动备份软件。
目前流行的备份软件有多种。如Legato NetWorker、CA ARCserve、HP OpenView OmnibackII、IBM ADSM及Veritas公司的NetBackup等。它们都具有自动定时备份管理、备份介质自动管理。数据库在线备份管理等功能。其中,Legato、Veritas和CA是独立软件开发商,注重于对各种操作系统和数据库平台的支持,而HP和IBM等更注重于对本公司软硬件产品的支持。
在小型机或工作站设备占主流的应用环境中以及在多平台操作系统和拥有多不同数据库的环境中,HP?Omnibackll拥有绝大部分的用户市场。在微软操作系统平台上,CA公司的ARCServerlT备份软件具有一定的竞争优势,但其只适合于单一平台下的数据在线备份。而无法实现异构平台上的数据库在线备份。Legato和Veritas是美国专业从事企业数据安全管理软件开发的公司。他们均能够提供跨平台网络数据的自动备份管理,可实现备份系统的分布处理,集中管理,备份机器分组管理、备份介质分组管理、备份数据分类、分组管理及备分介质自动重复使用等多项功能,备份的数据可在每个备份客户机上按需恢复,也可在同平台上按用户权限交叉恢复,而备份操作可采用集中自动执行或手动执行。因此,对于跨多平台多业务的数字图书馆系统,可以考虑选择Legato或Veritas。
(四)数据备份策略的制定
备份策略指确定需备份的内容、备份时间及备份方式。目前被采用最多的备份策略主要有以下三种,完全备份:就是每天都进行完全备份。这种策略的好处是:当发生数据丢失的灾难时,只要用一盘磁带(即灾难发生前一天的备份磁带),就可以恢复丢失的数据。然而它亦有不足之处:首先,由于每天都对整个系统进行完全备份,造成备份的数据大量重复,占用了大量的磁带空间,增加成本;其次,由于需要备份的数据量较大,备份所需的时间也就较长。
增量备份:就是在星期天进行一次完全备份,然后在接下来的六天里只对当天新的或被修改过的数据进行备份。这种备份策略的优点是:节省了磁带空间,缩短了备份时间。但它的缺点是:当灾难发生时,数据的恢复比较麻烦。例如,系统在星期三的早晨发生故障,丢失了大量的数据,就要将系统恢复到星期二晚上时的状态。这时系统管理员首先就要找出星期天的那盘完全备份磁带进行系统恢复,然后再找出星期一的磁带来恢复星期一的数据,找出星期二的磁带来恢复星期二的数据。很明显。这种方式很繁琐。另外,这种备份的可靠性也很差。在这种备份方式下,各盘磁带间的关系就像链子一样,一环套一环,其中任何一盘磁带出了问题都会导致整条链子脱节。比如在上例中,若星期二的磁带出了故障,那么管理员最多只能将系统恢复到星期一晚上时的状态。
差分备份:管理员先在星期天进行一次系统完全备份,然后在接下来的几天里,再将当天所有与星期天不同的数据(新的或修改过的)备份到磁带上。差分备份策略在避免了以上两种策略的缺陷的同时,又具有了它们的所有优点:首先。它无需每天都对系统做完全备份,备份所需时间短,并节省了磁带空间;其次,它的灾难恢复也很方便,系统管理员只需两盘磁带,即星期一磁带与灾难发生前一天的磁带,就可以将系统恢复。
篇3
[关键词] 计算机数据库; 安全防范; 策略
[中图分类号] TP392 [文献标识码] A [文章编号] 1673 - 0194(2013)012- 0084- 02
在计算机的实际应用中,提高计算机的数据库安全系数,已经成为现在的一项重要任务,因此对计算机数据库的安全防范有着重要的作用和意义,它是保证计算机数据库能够正常使用的基础。在实际的应用中,要注意采取一定的策略,对计算机数据库实行合理的安全防范,保证数据库的安全性,使其在实际的应用中可以正常地使用。
1 数据库安全有其自身的内涵以及重要性
1.1 何为计算机数据库安全
所谓数据库的安全,所指的就是利用各种有关的安全技术措施来对计算机的数据库进行保护,对一些非法的用户越权使用数据库或者是盗取数据库内的有关信息,以及破环和更改数据库等行为进行防止。数据库的安全和计算机系统的安全相对比来说在要求上基本比较类似,它主要的含义可以从以下的几个方面体现出来:
(1) 具有保密性。这里是所说的保密性就是对数据库中的各种信息进行保护,保证其不会外泄或者是被非法用户获取。在一般的情况下,用户在使用数据库的时候,是要经过访问授权的,在实际使用中,相同的一组数据对用户来说,有可能会对其授予不相同的存取权限。此外,还要能够跟踪和审计用户的访问操作。
(2) 完整性。在这一方面主要包括的是两个方面的完整,即物理上的完整和逻辑上的完整。物理上的完整主要是说数据库在使用中不会被物理障碍所影响,同时还要求其有在遭受重大毁坏之后能够重建和恢复的能力。逻辑上的完整指的是保护数据库的逻辑结构,其中包括的主要内容有完整的数据语义以及完整的操作。物理上的完整性,约束了数据库在逻辑上的完整性,逻辑上的完整则是保证在发生问题之后数据的一致性。
(3) 可用性。所谓的可用性就是说对于用户正常的操作数据信息是不可以拒绝的,并且还要使数据库的运行效率有一定的保证,能够为用户在人机交流上提供良好的平台。
1.2 数据库的安全有着重要的作用
对计算机数据库来说,其安全的重要性是十分明显的,由于现在的计算机网络越来越普及,数据库的安全也就更加重要。从总的方面来看,数据库安全的重要性主要是体现在以下的几个方面:
(1) 其对保护数据资源十分有利。在一般的情况下,在数据库的系统中,会储存着各种各样的信息,而对用户来说,这些信息都是十分重要的,一旦被盗用或者是破坏,将会有十分严重的后果,因此保证其安全是十分必要的,这样才可以使得信息资源的安全性得到保证。
(2) 对保护操作系统的安全十分有利。即使操作系统的安全性得到了保障,非法入侵者也有可能会利用系统中的某一个程序来获得操作系统的权利。非法入侵者可以利用这些命令接口与其他的服务器连接起来,并且获得信任,这样会威胁到整个区域之内的安全性。因此,对数据库的安全防范是十分必要的。
2 具体的防范措施
2.1 对用户访问进行控制
计算机在实际的运行过程中,一般会分为主体和客体两个部分。主体部分所指的就是计算机的使用用户以及其操作的进程,客体所说的就是在数据库运行的时候其内部的所有数字资源。对于计算机数据库来说,最主要的安全问题就是要保护这些数据的安全。从具体的方面来说就是在用户进行数据库操作时,在数据库中的各种软件将数据信息读写、删除、修改以及执行来进行信息资源的管理,利用这种方法使得主体在访问客体时的授权得到保证,同时也将非授权的用户拒绝,这样使得数据的安全和可靠性、完整性以及可用性得到保证。对用户实行访问控制主要的作用是为了防止用户在使用数据的时候,将数据擅自修改。通过对数据库的访问进行控制,可以使得数据库中的信息不会被随意的修改和删除,以此来保障其安全性。
2.2 对用户身份进行识别
这种技术的主要作用就是防止假冒或者是欺诈的情况出现。身份的识别就是在用户登录数据库的时候,要对其身份进行验证。从目前的情况来看,比较常用的识别方法有以下的几种:① 使用密码来进行验证,这种验证信息只有用户自身才能拥有;② 利用信物来进行验证,比如说使用用户的IC卡或者是护照等;③ 利用特征来验证,主要包括的就是指纹以及笔迹等。
2.3 对数据的存取进行控制
在这一方面,主要要做的就是控制用户的访问权限,用这种方法来保障有资格的用户可以正常的使用数据库,同时,也防止没有访问权限的人进入。一般的情况下,在存取控制上,主要有两种方式存在,即自主控制和强制控制。在自主存取控制上,只要用户拥有数据对象,那么他就有数据的存取权限,而且还能够将权限转授给其他的用户,但是这种方式有一定的问题存在,就是在存取权限上很容易被旁路,这样一来,就有可能会导致系统对于一些恶意的攻击没有抵御能力。因此,在一些比较重要的数据库中,要采取强制控制的措施。对于强制存取控制来说,数据库会指派一个密级给每一个存取的对象,并且将其相应的存取级授予每一个用户。即是说只有具备合法的存取级,用户才能够对数据资源进行存取,这样一来,可以在一定的程度上防止病毒的进攻。
2.4 对数据库进行安全审计
安全审计在数据库的安全性能评估中是十分重要的。其不但可以检测数据库的整体安全性,并且还能够分析以及评估检测得到的信息。利用数据库安全性能的评估,可以及时地发现数据库所存在的问题,并且能够及时地找出相关的解决措施。
2.5 对数据库进行加密
到目前为止,对数据库进行加密,是保证数据库资源安全的最有效措施之一。利用对数据库的加密,可以保证用户的信息安全,将由于数据的备份失窃或者丢失所造成的损失进一步降低。这里所说的加密在实质上来说就是将一些明文的数据信息转化成无法识别的密码文件,数据的加密过程就是这个转化的过程。一般的情况下,数据库的加密和解密都是在一起的,组成了加密系统,其主要包括的几个部分有:① 进行加密和解密的计算方法;② 要进行加密的文件;③ 经过加密之后所形成的文件;④ 在加密以及解密上所用的钥匙。在加密上比较简单的一种方法就是利用中间件来对数据库进行加密,具体地来说就是通过外层以及内核的加密来完成加密的过程,以此来达到数据库加密的目的。
3 结 语
现在的社会是数字化和信息化的时代,计算机的应用在现在社会的生活和工作中都是必不可少的。但是,也是由于信息科技的发展,使得计算机数据的安全受到了严重的威胁,特别是在现在的网络环境下,对于计算机数据库的安全更要注意保护。在实际的应用中,要根据实际的情况,利用先进的技术,来加强对数据库的保护,保证数据库中数据信息的安全。作为设计者,要不断地探索,找出更加先进的技术和方法来对计算机的数据库安全进行保护,使其更好地为人们服务。
主要参考文献
[1] 李明. 计算机数据库安全管理研究[J]. 科技风,2012(17).
[2] 药炜,张雅婷. 计算机数据库安全防范策略探讨[J]. 管理观察,2012(27).
[3] 李建东. 计算机数据库安全管理研究[J]. 科技创新与应用,2012(10Z).
篇4
关键词:SQL Server;数据库维护;数据库备份与还原
一、概述
对于计算机用户来说,对一些重要文件、资料定期进行备份是一种良好的工作习惯。同样,对于数据库管理员和用户来说,对数据库备份与还原也是不可或缺的工作。因为在一个复杂的大型数据库中,用户可能对数据库进行了错误操作,另外一些恶意操作、物理磁盘的数据冲突、外界突发事件的影响等,这些都有可能造成数据损失,严重是甚至导致是系统崩溃。本文拟对数据库备份的几种方案及通过SQL Server程序执行数据库备份任务的过程作一阐述。
二、数据库备份方式及其原则
根据不同的情况,在SQL Server中,用户可以选择4种备份策略:
①只备份数据库
数据库备份是将数据库的数据一次性备份出来,并可以设定备份周期。但是如果只采用数据库完全备份,而不备份该数据库的事务日志,当出现故障时可能会丢失大量的数据。
②事务日志备份
事务日志备份是对自从上次备份事务日志后对数据库执行的所有事务的详尽记录进行备份,可以使用事务日志备份将数据库恢复到特定的时段。
③数据库差异备份
假如数据经常被修改,可以使用数据库差异备份来减少备份时间和恢复时间。要执行数据库的差异备份,首先需要执行完全数据库备份。数据库的差异备份只备份上一次完全数据库备份之后已经改变的那些数据内容,和在执行数据库差异备份中发生的任何操作。
④对指定文件的备份
我们还可以备份和还原数据库中的个别文件或文件组,这样将使用户能够只还原已损坏的文件部分,而不用还原数据库的整体,从而提高了恢复速度,提高工作效率。
三、数据库维护计划下的备份方案
Back Up Database Task是自动按计划执行完全备份、差异备份和事务日志备份的最佳途径。在SQL Server中,只需要进行拖拽并设置相关属性就能实现该方案,具体步骤如下:
首先,新建维护计划,在服务器管理中的维护计划鼠标右键点击新建维护计划。
然后,设计维护计划:①拖拽任务工具箱的“备份数据库任务”到维护计划设计器,右键点击编辑“备份数据库”任务设置属性,将自动完成数据库完整备份工作。②拖拽任务工具箱的“清除历史记录”到维护计划设计器。③拖拽“清除历史记录”到维护计划设计器。本步骤完成了作业属性设置,系统将按照设置定期运行相关作业。
最后,保存维护计划到此。如果管理员需要查看日志记录,根据成功记录与否就可以调整和修改这个维护计划。
四、备份方案和恢复实例展示
下面结合综合备份方案的实例来体现数据库的备份和恢复。数据库备份和恢复可以利用企业管理器来操作,当然也可利用T-SQL语句编程来实现操作。两种方法的定期执行都需要有SQL Server的支持。这里我们例举T-SQL编程语句来实现操作一个关于student的数据库:
①创建完全备份:
Use master
Go
Exec sp_addunpdevice‘disk’,‘student_bak’,‘路径名’
Go
②创建差异备份
Use master
Go
Exec sp_addunpdevice‘disk’,‘student_diff’,‘路径名’
Go
③创建备份事务日志
Use master
Go
Exec sp_addunpdevice‘disk’,‘student_log’,‘路径名’
Go
建好备份设备后,就可以把数据备份在这些媒体上。下面我们用查询分析器运行一下三个小程序建立数据库备份:
①完全备份stuednt数据库文件
Back database student to[student_Bak]with init,nounload,noskip,stats=10,noformat
②差异备份stuednt数据库文件
Back database student to[student_diff]with init,nounload,differential,noskip,stats=10,noformat
③事务日志备份文件
Back log student to[student_log]with init,nounload,noskip,stats=10,noformat,
No_truncate
万一数据库发生意外,恢复数据库要确保断开数据库所有操作。还原数据库的三个文件如下:
(1)恢复完全备份数据库文件
Restore datebase student from student_bak with norecovery,replace
Go
(2)恢复差异备份数据库文件
Restore datebase student from student_diff with file=5,norecovery
Go
(3)恢复事务日志备份数据库文件
Restore log student from student_log with recovery_store=‘2004_9_12 10:00:00’
Go
四、结语
数据中心操作大量的数据,当数据遭到破坏时,这是一场灾难,这正是定期进行备份的重要性。本文所论述的数据库备份方案可以让SQL Server有效地自动备份有关数据库,保持数据库运行在最佳工作状态,并为工作节省了时间,提高了办事效率。(重庆渝北职业教育中心;重庆;401100)
参考文献:
[1] 李俊山:数据库原理及应用,清华大学出版社,2009,11.
篇5
关键词:数据预处理 数据仓库 电力系统
一、引言
随着电力系统规模的不断扩大,在线安全稳定分析已日益成为电力系统依靠科学技术进步来提高电网效能的有效手段之一。目前进行在线安全稳定分析的数据源主要来自SCADA和WAMS量测系统,SCADA系统是当前电力系统运行方式的监测技术主体,它具有数据量大、精度不高的特点,而WAMS系统是近年迅速发展起来的技术,它的量测量具有实时性好、精度高,但数据量较少的特点。如何充分利用和科学管理这些规模巨大的不同构数据信息,利用合理的方法对两种量测量进行科学的融合,有效地挖掘出这些数据中的信息,充分发挥信息的潜力及价值,提高在线安全稳定分析的水平已成为目前研究的热点。
科学有效的数据预处理方法是进行准确在线分析的关键所在,而电网数据的预处理过程就是把海量的、杂乱的、冗余的电网原始量测数据通过有效手段转换为适合进行功能分析及决策应用的可靠的、精确的数据。在进行在线安全稳定分析数据预处理的过程中会遇到以下主要问题:
(1)静态的、规模巨大的、低精度的SCADA系统量测数据与动态的、少量的高精度的WAMS系统量测数据的高效匹配和融合问题。
(2)整合后数据的数据仓库的建立和管理问题。
针对上述问题,本文提出一种基于PCA数值优化二阶段状态估计算法的电网在线安全稳定分析的数据预处理方法,通过对初始混合数据的整合处理以及主题数据仓库的建立过程来实现电网在线功能分析的数据预处理。
二、在线安全稳定分析数据预处理的总体结构
在电网安全稳定分析数据预处理的过程中,状态估计是该过程不可或缺的重要成分之一,它可以把从原始输入设备接收过来的低精度、不完整的不良数据转变为高精度、完整而可靠的数据;同时,为了适应在线分析和决策的需求,还要引入数据仓库构建技术来合理地存放转化后的数据。电网在线安全稳定分析数据预处理的总体结构大致分为如下二个阶段:
(1)数据整合阶段。该阶段要从SCADA和WAMS数据库中提取与在线安全稳定分析功能相关的量测信息,将其导入到相应的数据库表中。运用主成分分析算法对原始数据信息进行降维优化,简化存储空间,之后利用二阶段状态估计算法对降维后的数据进行状态量转化,将转化后的数据作为在线安全稳定分析的基础数据信息。
(2)数据仓库建立阶段。在该阶段需要利用相应的数据约简、转换、装载等技术对状态整合后的数据量进行变换和整理,将符合统一规范和标准的数据存放在业务数据库中,然后根据不同分析功能的需求对特定主题的数据进行压缩和约简,并分别存放在相应主题的数据集市中。
三、在线安全稳定分析数据仓库的构建方法
利用如下步骤对整合新生成的数据信息建立电网在线安全稳定分析的数据仓库,具体为:主题及信息包图设计、雪花模型建立以及物理实现。
(1)主题及信息包图设计。数据仓库中的数据是面向主题进行组织的,主题通常反映决策分析最关心的问题,因此建立数据仓库首先就要确定分析的主题。由于在线安全稳定分析主要围绕暂态稳定、电压稳定、静态稳定和小扰动稳定这四个方面进行,因此确定出在线安全稳定分析数据仓库的主题为:暂态稳定分析、电压稳定分析、静态稳定分析和小扰动稳定分析。数据仓库的结构围绕这些主题进行设计,每个主题的逻辑结构均采用星型模型。下面就以“电压稳定分析”主题为例,进行信息包图的设计。首先,围绕主题划分维度、粒度并给出度量指标。
①维度是观察数据的角度,不同的维度组合构成访问数据仓库中数据的不同约束条件,从而实现不同角度的分析。根据电压稳定判定指标对电网运行数据的要求,为“电压稳定分析”主题认定四个维度:时间维,存储时间信息;位置维,存储厂站或线路信息;量测属性维,存储测量属性的详细信息;量测类型维,存储该测值的类型(实测值还是估计值)。
②粒度是在一个维度内为表达不同细节程度的信息按顺序划分的多个层次,划分粒度使分析可从数据的某一角度的不同粒度进行,从而满足不同层次用户的分析需求。上述各维具体划分的粒度如下:时间维:年、月、日、时、分、秒、毫秒;变电站维:变电站名,电容器投入组数,分接头运行档位;变压器维:电阻,电抗,容量,分接头档位数,中间值;线路维:电阻,电抗,充电容量;量测属性维:有功功率、无功功率、电压、频率、相角;量测类型维:实测值、估计值。
③度量指标是维度空间内主题数据所表达的含义,是要实际分析的数据。以“系统扰动前后电压值在允许范围内”作为当前电网电压稳定的判定标准,认定“电压稳定分析”主题的度量指标为状态值、极限值和扰动值三项,其中,扰动值为布尔型数据,为1时表示有扰动,为0时表示无扰动。如果某时刻系统出现扰动(扰动值为1),即将当前状态值和上一时刻状态值与其对应的极限值作差,只要任何一项差值大于0,就判断系统该时刻是不稳定的,否则认为系统是稳定的。
(2)星型模型建立。根据“电压稳定分析”主题的信息包图,即可得到“电压稳定分析”主题的星型结构图。
(3)物理实现。对于已经确定好的主题数据,从数据的组织和存取两方面完成其在数据仓库中的最终物理实现。
通过大型数据库管理系统(如Oracle 10g)的多维数据库表来组织星型结构的数据信息。对每个主题从星型模型中心展开定义,建立一个事实表(包含所有度量指标值和各维的标志)、每一维建立一个维表(包含该维的信息标志、维粒度详细信息)。事实表中的每条记录含有指向每个维的指针,通过指针将事实表与维表、粒度信息关联起来,归并于一个主题,这易于实现数据的多维查询与统计,从而便于分析人员从不同角度、不同层次考察训练情况,如分析只涉及到维度的主要信息时,只需查询维表即可,从而提高了处理速度。
对于数据的存储,按照数据的重要程度、使用频率以及对响应时间的要求进行分类,然后再将不同类的数据分别存储在不同的存储设备中。由于经预处理整合后的量测状态量的存储频率较高,将其存储在高速设备(如光盘或磁盘阵列)上,而原始的量测量和一些开关信息等辅助数据,由于存取频率不高,可将其放在低速存储设备上。
四、小结
(1)数据仓库构建技术为进行系统功能的分析和决策提供了很好的数据管理平台,将其应用在电力系统在线安全的分析与评估中将具有很好的应用前景。
(2)本文提出的电网在线安全稳定分析的数据预处理方法很好地解决了原始庞杂的异构数据的有效匹配问题,同时为不同的功能分析提供了高精度的量化数据,可以很好地进行电网在线安全稳定分析的数据预处理工作。
参考文献:
[1]李帅,祁利刚,李中,苑津沙.基于数据仓库和OLAP的电力决策支持系统的设计[J].电力系统通信,2007,28(177):58-61.
[2]方怡,王君,王晓茹.基于暂态稳定评估的数据挖掘预处理[J].机电工程,2007,24(10):46-50.
篇6
以下节选自房产网站安居客的老板给员工的新年贺词,里面不少理念相当赞同,对于很多正在变革面前彷徨的房产企业会有所帮助,拿出来分享一下!
在互联网出现之前,企业和经济的演变从形成、成熟到衰落需要几十年甚至几个世纪,而在互联网,更迭在兔起鹘落之间完成。从门户到移动互联网,到现在,垂直领域开始被看做未来5到10年的一个巅峰。我们看到,专注分类信息的58同城和专注旅游搜索的去哪儿相继上市。
在垂直领域有三个领域是最有前途的,房地产、汽车、旅游。在旅游市场,去哪儿正由单一的信息搜索平台向服务提供商转变,携程也通过一系列收购把业务扩展到多个领域;在汽车领域,汽车之家等纷纷进行电商化的尝试和探索,并且将其变成常规。而我们,将担负着一个重大的使命——用互联网去革新生活中最复杂、最贵重、内涵意义最深远的一种商品服务——房子。
安居客,不仅是这一垂直领域的核心公司之一,同时移动、大数据、云计算、O2O这些所有热门的词汇都和我们息息相关,是我们与生俱来的基因。所以,接下来互联网的精彩故事将发生在我们身上——以移动互联网技术改变传统行业
房产这个垂直领域里虽然搜房网已经上市,但其商业模式及产品形态还是传统的1.0模式,这对于安居客这类的网站来说是个机会,用移动互联网技术去改变房产行业。
我坚信这个时代是被技术和商业模式推动的,当然最重要是被人推动的。2000年以后除了安居客没有一家公司进入房地产领域生存能超过七年。我们为什么有这个能力?因为这里有值得骄傲和尊重的一群人。2014年,我们采取TIA项目制,即由队长和专业职能人员组成紧密合作团队,快速实现特定目标的一种机制。
这种制度的精髓就是扁平化管理,“让听到炮声的人呼唤炮火”,让公司里出现更多有Boss思维和Leader思维的人。而扁平化高效运营恰恰也是基于我们相信优秀的人本身就有很强的驱动力和自我管理的能力,这也是对人做最大的投资。
世界是平的,移动互联网是一个真正去中心化的网络世界,当苹果公司把IOS7的图标都扁平化,当张小龙说微信永远不会有应用商店时,当周云杰说要把海尔变成2000个小企业的时候,你可以感受到这种趋势。
用多维思想改变互联网产品世界,用一个例子来说,如果用三维来思考交通,立体交通的蓝图就出来了。内环高架和南北高架、立交桥等等,组成了桥、路、高架交叉的道路网络。而此前,人们的思维只是在平面上,或者加宽马路,或者加长公路。
有了三维思维,就会有创造和发现的智慧,就可以像艺术家和科学家一样来创造世界。在互联网上,不论是内容、分类、链接、时间还是云端各维度,只需以“数据”之弦贯穿,则四通八达,上下贯透。
互联网产品的本质是服务,就是通过某种形式的桥梁和窗口把服务传递给用户,由于用户的需求不断在变,产品就要随时调整。因此,互联网产品需要不断运营、持续打磨。如果你掌握了互联网产品的规律,只要瞄准用户的需求点,同时在产品开发方面,采用“小步快跑,循序渐进,不断试错,快速迭代”的思路,我觉得就有可能会超过大公司。
有人说微信打阿里是三维打二维,微信靠的是移动和社交,那么房产要靠什么?大数据!只有它才能更精准更快速更简便的让房子和人之间建立起关系!
安居客2009年开始做新房,经过新业部所有同学的努力,2013年慢慢找到了感觉,所以我们现在有资格说,我们已经懂得未来如何在新房市场里取得不一样的地位,做到差异化。并且,开始逐步得到开发商的认可和追捧。
我们的最终目标是让网上购房变成可能,构建购房闭环,打造一站式人居服务链条。一站式人居服务包含全程服务和全生命周期服务两方面,全程服务是包括找房、看房、交易、贷款等各种服务,即单次交易的全程跟踪;全生命周期服务就是在这个平台上找房、租房、买房、卖房,乃至于享受不同公司和机构提供的装修、贷款和还贷等服务。我们的想法是用最轻的应用解决最重的问题,让房产线上线下加速交融。
篇7
关键词:数据中心;分布式能源;经济效益;环境效益
1引言
数据中心是企业对价值信息进行收集、存储、处理有机组合。数据中心电能巨大,对供能可靠性要求高,同时冷负荷需求大,数据中心这些特点适合配套建设天然气分布式能源站。本文详细介绍了上海某数据中心建设天然气分布式能源系统的必要性及经济性。
2数据中心负荷需求
上海某数据中心建筑面积10500m2,其中主机房7000m2,辅助区大约3500m2。
2.1电负荷
数据中心电负荷需求主要包括:制冷系统主机房设备耗电、冷却塔水泵耗电、风机耗电、辅助设备耗电、建筑照明等常规设备耗电。根据数据中心提供资材料及参考国内类似已建数据中心相关负荷统计信息,数据中心电负荷大约10000kW(扣除制冷负荷)[1]。
2.2冷负荷
数据中心机房电子信息设备等工艺设备散热量很大且散热集中,空调负荷主要为机房设备散出的显热,即使在冬季也由于机房向室外散热量小于设备发热量而仍需供冷,因而冷负荷随季节变化波动不大,全年均需供冷[2]。数据中心冷负荷需求主要包括:机房主要工艺设备散热形成的冷负荷、新风引起的冷负荷、围护结构形成的冷负荷、照明散热和人体散热形成的冷负荷。根据数据中心资料分析、《电子信息机房设计规范》中负荷设计方法、参考国内类似已建数据中心相关负荷统计信息,数据中心夏季冷负荷需求为8400kW,冬季冷负荷需求为7700kW[2]。
2.3热负荷
数据中心服务的供热范围包括辅助区和公摊区,由于辅助区及公摊区大部分房间属于内区,故夏季数据中心整体建筑对热负荷的需求很少,根据项目提资材料分析及参考国内类似已建数据中心相关负荷资料,数据中心冬季热负荷需求为120kW。数据中心负荷需求见表1。
3建设方案
分布式能源是以“效益规模”为法则的第二代能源系统,它是“规模效益”为法则的第一代能源系统的发展与补充,特别是以天然气为燃料的能源利用系统,实行热电冷联产,可以大幅度提高能源转换效率和减少能源输送损失[3]。天然气分布式能源是以燃机或者内燃机作为原动机,设备(余热锅炉或者溴化锂机组)利用烟气余热向用户提供冷负荷与热负荷。
3.1方案1
2台由A公司生产的单机容量为5.75MW内燃机配2台单机制冷量为4.87MW的烟气热水型溴化锂热组(其中2台机组为补燃型),方案1装机示意图见图1。方案1系统性能参数分析见表2。方案1经济性分析见表3。
3.2装机方案2
3台的单机容量为3.3MW内燃机配3台单机制冷量为3.3MW的烟气热水型溴化锂热组(其中2台机组为补燃型)。方案2装机示意图见图2。
数据中心分布式能源站系统性能参数分析见表4。方案二经济性分析见表5。
4方案对比分析
4.1技术方案比较
方案1采用2台由A公司生产的单机容量为575MW内燃机配2台单机制冷量为487MW的烟气热水型溴化锂热组(其中2台机组为补燃型),整套系统发电气耗为0152m3/kWh,供冷气耗为2806m3/GJ。
方案2采用3台由B生产的单机容量为3.349MW内燃机配3台单机制冷量为3.3MW的烟气热水型溴化锂热组(其中2台机组为补燃型),整套系统发电气耗为0.161m3/kWh,供冷气耗为25.7m3/GJ。
方案2整个系统采用3台机组,对于数据中心处于不同阶段、不同时间段不同负荷时具有更加灵活的调节方式,同时供冷气耗比方案1低,对于冷负荷需求大的数据中心来说,方案2更加适合。
4.2经济性比较
从以上技术经济分析表格可以看出方案2的初投资比方案1小,机组单位造价比方案1机组单位kW造价低(总投资同时考虑上海市关于冷热电联供工程的补贴政策);方案2项目资本金财务内部收益率比方案1高,投资回收期比方案1短,综合技经分析方案2优于方案1。
性能1数值内燃机额定功率/kW13×3.3MW内燃机单循环效率/%143系统天然气耗量/(m3/h)13×820内燃机排烟温度/℃1404内燃机排烟流量/(kg/h)13×17881内燃机缸套水可供热负荷/kW11844烟气热水溴冷机排烟温度/℃1151烟气热水溴冷机制冷输出功率/MW13×3.3系统一次能源利用率/%183发电气耗率10.161供热气耗率125.73
表5方案2经济性分析
序号1项目名称1单位1指标11工程静态总投资(含价差)1万元11171721建设期利息1万元1324.6831工程动态总投资1万元112041.6841项目投资财务内部收益率1%115.6351财务净现值1万元17252.7361投资回收期1年17.1271项目资本金财务内部收益率1%133.1381财务净现值1万元18059.6191投资回收期1年14.07101投资各方财务内部收益率(投资方1)1%128.79111财务净现值1万元17129.4121投资回收期1年14.53
4.3效益分析
在数据中心建设冷热电联供系统有利于解决数据中心的能源供应紧张等问题,保证数据中心供能安全,降低用户用能成本,数据中心冷热电联供能源站节能减排效益分析见表6。
表6数据中心节能减排效益
指标1单位1数值能源站年耗气量1m3/年113530000供热代替标煤量1t/年18929发电代替标煤量1t/年117406年节约标煤量1t/年19526年减排CO2量1t/年137956年减排SO2量1t/年1436年减NOX1t/年1170
2014年11月绿色科技第11期天然气分布式能源站向数据中心供电电价比电网电价低0.2元/kW・h,仅此一项,数据中心年运行成本降低约1000万元。
5结语
数据中心是高科技、高耗能单位,不断增长的能耗问题制约着数据中心在经济发达地区的发展。天然气分布式能源系统具有清洁、高效特点,系统提供电能的同时还向用户提供冷(热)能。上海某数据中心采用天然气分布式能源供能,减少企业建设成本(备用电源),降低企业运营成本。项目将设为上海乃至全国数据中心采用先进供能模式提供示范作用。
参考文献:
[1] 谷立静,周伏秋,孟辉.我国数据中心能耗及能效水平研究[J].中国能源,2010(11):42~45.
篇8
关键词:Access数据库 漏洞 防范
0 引言
Access数据库是一个桌面关系型数据库,对于一些信息量较少的系统,选用Access数据库,使得编程、使用、二嵌开发都比较容易。对于桌面型的数据库应用来说,Access数据库的安全机制已经可以满足要求,但从根本上来说,Access数据库的安全性设计是不完善的,我们需要详细分析数据库的安全漏洞,提出防范对策。
1 Access数据库系统存在的漏洞
1.1 Access数据库的解密隐患 由于Access数据库的加密机制非常简单,所以即使数据库设置了密码,解密也很容易。该数据库系统通过将用户输入的密码与某一固定密钥进行异或来形成一个加密串,并将其存储在*.mdb文件中从地址“&H42”开始的区域内。由于异或操作的特点是经过两次异或就恢复原值,因此,用这一密钥与*.mdb文件中的加密串进行第二次异或操作,便可轻松得到Access数据库的密码。基于这种原理,可以很容易地编制出解密程序。
1.2 由Admin用户引发的安全漏洞 Admin用户是Access系统的缺省用户,除非系统在安装后已经重新链接到了某个新的工作组安全系统上,否则将以默认的Admin用户登录Access。而微软将标记Admin帐户的用户ID号设成了一个固定值,这就意味着全世界的Access系统的Admin用户在Access中都是同一个用户。如果一个未联入你的工作组安全系统的用户在网络文件系统级别上获得了你的数据库系统文件的Admin权限,他将以Admin用户的身份拥有对该数据库系统的所有权限,而Access本身建立起来的第二级安全机制将不起任何作用,这种情况极易发生。工作组用户只要在他的计算机上重新安装一次Access软件,他将会轻而易举地避开你设置的安全防护,做为默认的Admin用户登陆并操作工作组中任何数据库系统。
1.3 工作组信息文件带来的安全隐患 Access有一个默认名为system.mdw的工作组信息文件,该文件存放了Access数据库的全部安全信息,包括用户账号和组账号。需注意的是,该System.mdw工作组信息文件是不安全的。因为在安装Access的同时,安装程序自动将默认的工作组定义在其创建的工作组信息文件中。在用户还没有使用“工具组管理器”指定其他的工作组信息文件之前,再次启动Access时,都使用默认的工作组信息文件。默认状态下原System.mdw工作组信息文件之所以不安全是因为它的工作组ID是空白的,任何人都可以获得该工作组信息文件定义的管理员账号,具有访问数据库的各种权限,安全隐患极大。
2 Access数据库系统安全漏洞的防范
2.1 通过编程改进Access数据库的加密算法 这里介绍一种在VB中设置Access密码的解决方案,用关键字ALTER DATABASE设置、修改数据库密码。使用该方法前,先设置对Microsoft ADO Ext 2.5 for DDL and Security库的引用,具体语法是:ALTER DATABASE PASSW0RD NewPassword OldPassword
第一次设置数据库密码时,使用NULL关键字作为AL-TER DATABASE语句中的OldPassword参数,其代码如下:
Dim ObjConn As ADODB.Connection
Dim strSetPassword As String′创建SQL串以初始化一个数据库密码
StrSetPassword =″ALTER DATABASE PASSWORD NewPassword NULL;″
Set objConn=New ADODB.Connection′设置数据库的打开方式为独占
ObjConn.Mode=adModeShareExclusive′打开数据库,path为数据库的路径
ObjConn.Open="Provider=Microsoft.Jet.OLEDB.4.0;DataSource=Path;″′执行SQL语句设置数据库密码
ObjConn.Execute(strSetPassword)
修改数据库密码时,首先要用旧密码登录数据库,然后再更改密码。其代码如下:
ObjConn.Mode=adModeShareExclusive
ObjConn.Provider=″Microsoft.Jet.OLEDB.4.0″
ObjConn.Properties(″Jet OLEDB:Database Password″)=″OldPassword″
ObjConn.Open″DalaSource=Path″′修改密码
strAltertPasswod =″ALTER DATABASE PASSW0RD NewPassword OldPassword;″
objConn.Execute(strAlterPassword)
删除数据库密码操作类似于修改密码过程,只需使用NULL关键字作为ALTER DATABASE语句的NewPassword参数即可。
2.2 消除由Admin用户引发的漏洞 解决的基本思路是屏蔽Admin用户对数据库的所有权限。首先,在Admin用户组中增加一个新的与Admin用户等同的新用户(如www),然后以新用户登录Access,从Admin用户组将Admin用户撤出,并屏蔽掉Admin用户对数据库的所有权限,这样,Admin用户就成为了一个普通用户,实际的数据库系统管理员则变为新用户www,而你的数据库安全系统就对所有的用户起到了防护作用。
2.3 消除由System.mdw文件带来的隐患 可使用工作组管理员程序对工作组信息文件进行管理。数据库管理员有权增加、删除组和用户,最好把开发同一项目的成员设在一个组。Access将用户归类到各种组中,所以数据库安全管理可极大简化,也就是为组而不是为单个用户指定权限,然后通过将用户添加到组中或从组中删除的方式来更改单个用户的权限。对于处于同组的用户授予新权限,只要执行一个操作,即可对该组账号授予新的权限。为了数据库的安全,要及时删除不再使用数据库的用户和组。
3 结束语
Access数据库系统安全问题的分析研究是一项专业性、技术性极强而且复杂和庞大的工程,数据库技术不断发展进步,对于数据库安全防范技术的研究也将永无止境。本文总结分析了与实际使用密切相关的Access数据库系统安全漏洞,并提出了一定的防范对策,对于实践使用有一定的针对性和指导意义,在具体实施时,应根据具体情况、环境和需求,因地制宜进行分析,采取相应有效措施保护数据库系统乃至整个网络系统的安全。
参考文献
[1]刘丽琳.浅析Access数据库系统的安全隐患及防范措施[J].和田师范专科学校学报.2007.(01):6-8.
篇9
企业信息化和规模的扩大使得不同地区之间数据实时互访需求越发强烈,如何为企业提供高效、灵活、安全的网络访问技术,MPLS (多协议标签交换)VPN应运而生。MPLS VPN通过结合数据链路层和三层路由技术的优势,在现代快速网络中得到了广泛的应用,尤其是电信运营商、大型企业及政府单位,但在MPLS VPN的环境中数据传输存在的隐患却值得思考。
1 基本理论
1.1 MPLS简介
多协议标签交换(Multiprotocol Label Switching)起源于IPv4,是一种用于数据包快速交换和路由的体系。LSR(Label Switching Router)是MPLS网络的基本构成单元,由LSR构成的网络称为MPLS域。位于MPLS域边缘、连接其他用户网络的LSR称为LER(Label Edge Router,边缘LSR),区域内部的LSR称为核心LSR。
1.2 VPN简介
VPN是一个可靠的,在公用网络上搭建的临时连接,它通过逻辑隧道连接地理上分散的网络。VPN技术通常用于扩大企业网络,通过VPN可以将远程接入的用户、企业分支机构和合作伙伴与企业内部之间建立信息安全连接,并能保证可靠的数据传输。VPN主要采用安全隧道技术,用户认证技术,访问控制技术和加解密技术。
1.3 MPLS VPN原理
MPLS VPN是一种基于MPLS技术的IP虚拟专用网络,是在网络路由和交换设备上应用MPLS技术[1]。它融合了传统路由技术,使用标签交换,简化运营商网络的路由选择方式,可用来构造宽带的企业内部网络和外网,满足多种灵活的业务需求[2]。
1.3.1 MPLS VPN的设备角色
组成MPLS VPN网络的路由器共有三个类别:用户边缘路由器(CE),运营商边缘标签转发路由器(PE LSR)和运营商骨干标签转发路由器(P LSR):
CE是用户端边缘路由器,VPN用户的网络终端直接与服务提供商相连的设备,为用户提供到达PE路由器的连接。
PE LSR是运营商的边缘标签转发路由器。它与用户的边缘路由器直接相连,对进入MPLS网络的流量进行划分,把相同的流量归于同一个FEC然后分配相应的标签,进行流量的划分,标签的压入和弹出功能,并且负责和其他PE路由器进行交换路由信息,充当数据转发的载体,把来自CE路由器的信息通过标签交换传递给另一端的CE端[3]。
P LSR是运营商网络除了边缘路由器的核心设备,提供标签分发和标签交换功能,在数据包的传输过程中使用添加外层标签来代替传统路由的繁杂查找。
1.3.2 标签转发原理
当数据包到达PE 路由器时,找到到达目的地的下一跳所给的标签,通过CEF转发给下一跳标签转发路由器,下一跳路由器接收到数据包时,执行标签转发表,并为数据包交换标签,再发给下一跳路由器。倒数第二跳标签转发路由器执行标签查找时,将数据包的标签弹出,即倒数第二跳标签机制,数据包传输到靠近分支的PE路由器,通过三层路由查找到达分支用户端,实现MPLS VPN的这个传输过程[4]。
2 基于MPLS VPN网络数据传输的隐患分析
为了对基于MPLS VPN网络数据传输的隐患分析,本文使用GN3搭建网络仿真,网络拓扑图如图1所示,总部HQ网络与分部Branch网络通过由ISP构建的MPLS VPN网络互联。通过对总部网络到达分部网络的数据传输为基础寻找安全隐患路径。
2.1 PE-CE间的入侵
当总部的网络锁传输的数据到达边缘时,MPLS VPN在PE和CE间只是简单地使用IGP协议完成连接,而且企业边缘设备和运营商边缘设备的连接不属于内部网络,中间长距离的部署连接中间可能存在入侵问题,如图2所示。
在PE和CE间只要插入一台交换机,入侵者配置与CE和PE间相同网段的路由,就可以实现入侵,无论是数据的监听,还是伪装成第三方与VPN内部进行通信,都是可行的。
2.2 运用商内部的配置失误
当数据传输到运营商内部时,如果没有实施必要的安全措施,可能存在内部人员的配置失误导致不同用户之间的数据传输混乱。如新PE端与连接分部网络的边缘路由器配置一致时,就可以造成分部网络与总部之间的信息间断,而且总部在没有得到故障报告时,无法正确地感知失去分部的联系,这样可能造成数据的泄漏和第三方的恶意访问和身份隐藏,如图3所示。
2.3 MPLS VPN本身的不加密
在总部的CE端到分部的CE端之间使用wireshark抓包工具进行抓包分析,观察数据以明文形式传输,可以直接截获或者篡改。数据在MPLS VPN的环境中是以明文形式传输的,说明了MPLS VPN本身的不加密性。
2.4 单链路问题
用户VPN依靠因特网服务提供商来进行不同地域之间的网络互连,这就需要用户支付专门的服务费用,因此一般的用户只通过单链路来维持通信,这样容易造成链路故障,对于某些实时的企业或政府来说有时损失时巨大的。
3 防护措施
MPLS VPN的安全性问题使得它无法单一的为一些对数据传输的安全性有特殊要求的客户服务如电子商务应用、金融行业的应用等,单纯依靠网络服务提供商提供的网络服务存在一定的安全漏洞。因此用户需要在自己管理的网络范围内以及对于提供商的链路配置采取一定的安全措施,虽然会增加用户管理和配置网络的复杂性,但可以增加额外的安全可靠[5]。
3.1 路由间认证
消息摘要算法(MD5)在CE-PE间是用OSPF协议的,OSPF协议对路由器之间的所有数据包都具有认证的能力。认证有简单口令认证和MD5加密校验和认证。简单口令认证虽然可以起到一定的作用,但是它是明文传输,没有经过加密,很容易被中间网络截获并窃取。所以建议使用MD5认证来解决路由认证问题[6]。
配置完MD5认证后通过对比可以发现CE-PE间的入侵者已经断开邻居关系。如图4所示.
3.2 安全审计
无论是内部人员的误操作还是外部入侵者的恶意访问,都可能导致网络的瘫痪,如何清晰的了解网络资源的使用情况和访问者的实施操作动作,是提高系统安全性的重要举措。采用日志审计,把系统资源的使用情况和访问者的操作记录下,在追究责任和排查问题时也有据可查。
3.3 Ipsec数据加密
IPSEC(因特网安全协议)是专门针对TCP/IP路由协议没有安全机制而制定的,它工作在IP层,为IP层及其以上协议提供保护。Ipsec通过加密隧道传送信息,提供访问控制机制、信息的源认证、数据的私密性、完整性、防重放保护、自动密钥管理等安全服务[7]。
ISP所提供的MPLS VPN骨干网服务中,所提供的安全措施基本为一般的认证、数据完整性和机密性方法,满足不了用户的数据安全性需求,因此用户可通过在边缘设备CE上进行Ipsec数据加密,保障用户数据在公网上传输的安全。在总部的CE端到分部的CE端之间使用wireshark抓包,分析经过Ipsec加密后的数据如图5所示。
3.4 冗余链路
在骨干网设备连接中,单一链路连接较容易实现,但一个简单的故障都会造成网络的中断.因此为了保持网络的稳定性,在实际组网过程中通常都使用备份连接,以提高网络的稳定性、健壮性。同时为了使线路利用最大化,可在线路上应用负载均衡技术。
4 总结
本文分析了MPLS VPN环境中数据传输的安全隐患,分析了中间网络侵入问题、第三方隐藏、明文传输、单链路故障等常见问题,提出了相应的保护措施保证了路由间的认证、数据的私密性、完整性和不间断性。对网络拓扑防护前后进行配置分析,发现各有优缺点。对于简单的MPLS VPN,它支持高速联网服务,且可伸缩性强,但数据安全性低,适用于MPLS VPN的两端位置固定不变、对网络的服务质量、实时性和可管理性要求较高的客户,例如办公地点固定的超市、连锁远程办公点;而对于IPSec加密的MPLS VPN适用于位置分部广泛,比如各街道办事处、连锁店等、移动站点多、对线路的保密性和可用性要求比较苛刻的但对实时性要求不高的用户,例如教育行业、设计公司高度机密的企业等。
篇10
那么,什么是下一代分析生态系统?按照记者的理解,就是结合了商业技术、开源技术的多平台的新一代大数据解决方案。正如Teradata首席技术官宝立明所言,数据分析解决方案正在快速从传统分析解决方案向下一代分析生态系统演进。
谈到数据库或者数据分析市场的变化,在Teradata营销与业务拓展副总裁Mikael Bisgaard-Bohr回顾说,30年前Teradata的核心技术是关系型数据库,随着时间的推移,数据分析市场的需求也起了很大的变化,我们的解决方案也从传统数据仓库扩展至包含开源技术的分析生态系统。现在很多研发人员、数据分析人员也关注如何更好地实现数据变现。“不仅Teradata,其他的传统数据公司都在面临同样的变化,因为整个市场已经发生了变化。”Mikael补充说。
随着非结构化数据量的大幅增加和非结构化数据分析的需求不断加大,单一平台早已经不再能满足所有数据的处理需求。因此宝立明认为,生态系统将成为行业潮流,商业技术要与开源技术结合起来,生态系统方案将成为行业标准和最佳实践;全新的开源技术,特别是Hadoop技术,以及云环境将成为行业趋势。
因此对于大数据分析和应用供应商来说,如何更好地将商业技术与开源技术结合起来,构建完善的生态系统,成为现阶段的一大挑战。
宝立明透露,Teradata算是最早宣布将开源Unix和Linux应用在数据库平台之上的,而且现在Teradata采用的操作系统也是完全开源的。此外,他还透露,Teradata在Hadoop上投入很大,为的是让开源技术可以和商业技术实现互通,例如Teradata开发的专利技术QueryGrid连接器。Teradata还在Hadoop文件系统上添加了仪表盘能力,使流数据能够进入Hadoop进行部署。