云计算与分布式技术十篇

云计算与分布式技术篇1

【关键词】云计算移动综合网管应用

一、移动网综合网管现状

随着3G业务的发展，移动网综合网管起着越来越重要的作用。运营商集团级管理机构除了对各省网络上报的告警进行全网监测以外，还需要对各省上报的话务数据进行整体或局部的分析，以便及时掌握全网用户行为的变化。3G网络中的网元数量远远大于GSM网络，3G网络中的告警数量、网元数量、分析数据激增导致综合网管的数据量越来越大，加上新增PS域的话务及原有2G网络的各类数据，综合网管数据传输和存储的负担变得越来越重。

为了适应新需求网管软硬件需要随着业务量增大不断扩容，这样就出现了一方面网络扩容需要较高的投资和维护成本，另一方面资源利用率又普遍偏低、资源使用又不均衡现象。这种不均衡有的是服务器间不均衡，有的是峰值与非峰值间不均衡，任何一套系统均要具备面对周期性高峰压力的能力，忙时或峰值时的应用需求对服务器配置提出了很高的要求而在非忙时资源又呈闲置状态。在这种普遍存在的既不能满足使用又存在资源浪费的情况下，将所有的计算资源集中起来统一使用，合理分配和利用资源解决现网问题变得越来越突出，云计算虚拟化技术恰恰可以解决这个问题。

二、云计算介绍

2.1云计算的概念

云计算是一种基于互联网的，通过虚拟化方式共享信息资源的计算方式，它融合了并行处理、分布式计算、网络计算等新兴技术和概念，对超大规模的分布式环境提供数据存储和网络服务。

2.2云计算的技术特点

云计算的主要计算方式是面向数值和信息处理的，在数据存储、数据管理、并发控制、系统管理方面都有着独特的技术。其特点主要如下：1.海量分布式存储；2.并行编程模式；3.数据管理技术；4.分布式资源管理技术；5.虚拟化技术。

2.3云计算的优势

云计算采用的分布式计算，与传统计算模式相比具有如下优势：1.稀有资源可以共享；2.通过分布式计算可以在多台计算机上平衡计算负载；3.可以把程序放在最适合运行的计算机上。

三、云计算在移动综合网管中的应用

3.1构建网管云的思路设想

云计算是将所有的计算资源集中起来统一使用，这种使用是通过虚拟化技术实现的。主要思路如下：首先，整合开放测试环境及接口服务器等利用率较低的服务器，将高端服务器划分成多个虚拟服务器，提供给开放测试和接口服务器等使用。这样一方面可以降低采购和维护成本另一方面可以减少闲置资源，替换下的服务器也可派做他用。其次，通过虚拟化技术实现计算资源池化共享。通过资源共享，可以把工作负载封装并转移到空闲或使用不足的系统，从而使闲置资源得到充分利用，提高资源利用率。最后，通过构建云网管平台，可以使业务脱离具体的计算机硬件，维护精力可以重点放在业务创新和业务使用上。

3.2云架构的实施步骤

（1）构建云架构的物理基础，包括服务器、存储和网络设施。（2）数据虚拟化。通过虚拟化软件对物理设施虚拟化，获得相对合理灵活的网络运行环境。（3）操作系统。现在很多虚拟化的厂商都提供云计算操作系统。业界首款云计算操作系统是VMware vShere。（4）数据库和运行环境。云计算和云存储对海量的数据进行处理，传统的有些数据库不适应这种易扩展、易并行的特点可能会逐渐淡出。目前常用的两种一种是Nosql数据库（如Bigtable、Hbase），另一种是并行关系数据库。适应下一代的数据库需要非关系、分布式、水平可扩展、架构灵活、易复制，支持海量数据。（5）中间件和面向服务的架构。中间件（Middleware）属于可复用软件范畴，处于操作系统、网络和数据库之上，应用软件之下。其作用是为处于上层的应用软件提供运行与开发环境，帮助用户灵活、高效地开发和集成复杂的应用软件。（6）自助管理服务。云环境搭建之后，可以将应用程度运行在云上，各省对各自的数据和程度具有控制权。

3.3实施小型云计算系统的方案

从现网的角度来看，目前可以实施的小型云计算系统方案有两种，一种是把云端统一建在全国管理机构，各省的网管系统改造后统一接入云端。这种方案的优势就是设备统一，运维集中，缺点就是全国现有网络改造工程量大，在改造过程中安全系数偏低；第二种就是把云端分别布署在集团和各省，这种方案的优势就是对现网可以平滑切入，对现网改造的工程量较小，接入过程网络相对安全。缺点是投资大。

关于例旧改造问题：云计算的优势就是分布式计算，无论采用方案一还是方案二，对现有设备引入分布式计算模式都是必需的，目前常用的云计算分布式技术主要有如下几个：1.中间件技术2.移动Agent技术3.P2P技术4.网络计算技术5.Web Service技术6.普适计算7.云计算，这些分布式计算技术不论采取其中的哪一种或哪几种，都需要对网管系统的软硬件进行统一资源整合。

关于引入云计算后的安全问题：目前该运营商综合网管主要使用内部专网专用的形式，外部网络的袭击和泄密应该不是主要安全的问题。主要问题应该存在于“云计算”技术本身安全策略或技术没落不到位造成的技术隐患。

四、云建设过程中可能存在的问题及其解决方法

在云建设过程中网络运行是有风险的，需要进行整体考虑。主要侧重以下几方面：（1）计算平台统一规划的考虑。第一步需要统一计算平台，把现有的存储设备、服务器设备、网络等硬件捆绑后进行兼容性测试，由于要考虑设备利旧，在布署前需要统一考虑计算平台的兼容问题，以避免将来出现不必要的麻烦。（2）集成现有资源问题。是否能有效集成现有资源是判断云布署是否高效的关健之一，如果不能有效整合现有资源，不仅会造成巨大浪费而且也违背了云计算的本质。（3）高度虚拟化和资源共享要求的统一考虑。高度资源共享是一个很难的问题，实现高度共享需要高度虚拟化，而高度虚拟化除了服务器虚拟化以外，还包括网络虚拟化、存储虚拟化等，因此在布署之前需要综合考虑现有网络是否具备相应的架构、技术储备、人员条件和基础环境。（4）提升用户感受的统一考虑。根据有些运营商新建的云计算试验网，发现目前的云计算网络在存储能力方面确实有了一些增强，但在用户使用感受方面并没有明显的变化。

五、结束语

当前的云计算已经形成一种蓬勃发展的驱势，小型云计算网络构建将以一种新颖灵活的方式在企业中得到应用。虽然到目前为止，云计算仍然存在着标准不统一、技术不够成熟、异构网络解决问题，但云计算展现出来广阔的应用前景已经得到了业界人士的普遍共识。

参考文献

[1]葛澎.分布式计算技术概述.微电子学与计算机，2012.5

云计算与分布式技术篇2

本期记者走访的是北京友友天宇系统技术有限公司，作为国内企业中为数不多的掌握了云计算平台核心技术的初创公司，友友系统正在产业链中定位自己的方向。

云计算是IT产业的一次大潮。在潮起潮落中，现有的IT厂商都会面临新的洗礼——淘汰者被大潮冲走，一批新的创业者也会涌现。位于北京云基地的北京友友天宇系统技术有限公司（以下简称“友友系统”），就是在云计算大潮下出现的一个新面孔，它随着云计算大潮而生，正经受着云计算市场的严峻考验。

作为云计算产业链条中的一环，特别是位于云计算软件中的最底层——云计算平台，友友系统的产品显得过于专业，也不为人所熟知，但其产品却是构建云计算平台的核心，用友友系统员工自己的话说，就是通往云计算世界的一部梯子。作为国内为数不多的掌握云计算平台核心技术的国产厂商，友友系统周围强手环伺。友友系统如何定位自己在云计算世界中的角色，其产品又怎样应对市场需求？日前，本报记者就相关问题独家专访了友友系统的创始人之一、友友系统CEO姚宏宇博士。

发现云计算技术本质

关于云计算的定义几乎每个人都有自己的理解。姚宏宇认为这并不奇怪，因为新的技术变革必需经历这一过程，就像之前的分布式计算、网格计算甚至互联网一样，假以时日，人们的意见必然会趋同。

“云计算是一种商业模式，也是一种技术进步。”他说，对云计算的理解可以分为两个层面：从商业模式的角度看，云计算是互联网模式的延伸和发展，它把互联网的服务从原来的信息服务延伸到硬件资源、软件资源以及所有跟IT相关的东西。“我把云计算叫做Internet 2.0。从服务模式来讲，云计算与互联网的本质一样，都是通过互联网交付服务，只是云计算把这个范围扩展得更大。而从技术角度来看，云计算无非是把很多不同种类的、分布在各地通过网络联接起来的资源结合起来，这个结合体叫做‘云’。”

集群计算、分布式计算、并行计算、网格计算是一些技术人员谈到云计算时总会提到的概念。姚宏宇认为，这些概念相互之间存在着密切关系，并行计算和分布式计算等很多概念都是从最早的集群技术演化而来的。

在计算机科学的发展过程中，大规模计算有两种不同的发展理念，一个叫“Share everything（一切皆共享）”，一个叫“Share nothing（一切皆独享）”。第一个理念的代表是并行计算，其具体实现就是超级计算机，超级计算机的存储、内存和CPU都是共享的，比如CPU可能有几千个，但从操作系统层面看就是一个CPU。这一技术路线下的产品商业应用范围较窄，主要应用在特定领域，对社会和商业影响较小；第二个理念的代表是分布式计算，这种系统中每个节点都是一个独立单位，每一个小单元完全可以自己做计算，能完成所有计算机该做的操作，目前的计算机应用系统基本都是这一体系下的产物。

不过，上述这些理念和发展方向最终都能通向云计算。云计算的本质就是能够通过分布式计算、集群计算、网格计算等技术把各种资源有机地结合起来，让外面看到“云”，而不是看到很多小的计算机节点。同时，无论“云”里发生什么事情，上面的业务系统都不会受到影响。这就意味着这个云要足够大、足够有弹性。“而友友系统的核心技术就是实现资源整合，特别是数据资源的整合，并且屏蔽掉过程中的技术复杂性。”姚宏宇说。

打造云计算操作系统

创立之初，友友系统给自己的定位是基础软件的技术提供商，后来又进一步明确为云计算平台技术供应商。“尽管不敢说是IBM和Oracle的竞争对手，但是友友系统与它们的产品的确处于一个层面，而和国内绝大多数IT公司不一样。”姚宏宇坦言，由于技术的专业性，要想跟普通大众描述清楚他们是做什么的，并非易事。

姚宏宇把自己的产品归为云计算操作系统。他说，从传统的IT架构来说，友友系统的产品属于中间件，位于操作系统之上、应用系统之下，因此叫云计算中间件比较合适。但中间件这个名字对中国人而言含义并不明确，而命名为云计算操作系统是因为其产品之于云计算整体架构的确如同传统计算机系统中操作系统的作用一样。“当然，我们提出云计算操作系统概念不是从传统IT架构的角度出发，更多的是考虑到面向未来。”

姚宏宇解释说，一台计算机包括一个CPU、一个内存、一个磁盘外加一个外壳，这就是冯·诺依曼计算机的典型结构。如果设想这个计算单元分布在1万台机器的CPU上，是由几十个计算节点组成的一个整体，用各种友友系统的软件对这个“超级计算机（云）”进行管理，那么这个软件就是云计算操作系统。因为业务系统是架在友友系统的软件之上的，下面则面对单机的操作系统和硬件，对业务系统来说其下的整套东西就相当于一个虚拟的计算机。从这个角度说，友友系统的产品和普通计算机上的操作系统所做的工作是类似的。

不过，云计算操作系统毕竟不是我们常见的操作系统，而今称为云计算操作系统的也并不多，主流的包括VMware的vSphere和浪潮的云海OS等。那么，同为云计算操作系统的友友系统CloudWare到底有何不同？

在姚宏宇看来，大家的方向基本一致，但与VMware和浪潮的云计算操作系统侧重于虚拟化和对虚拟化环境的管理不同，友友系统的云计算操作系统更侧重于资源的集中和整合。“我觉得云计算最终目的是，前台无数端，后台一片云。”姚宏宇说，云计算操作系统的作用就是能够把这一片云管理起来，让端都认为后台真的是一片“云”，前台需要的东西后台通过统一标准的接口可以提供。从技术上说就是，这个云计算操作系统能为前台提供一套SDK或者API。它能够把后台所有的分布资源管理起来，让前端认为后面就是一台机器，这个管理体系就叫做云计算操作系统，虚拟机的管理只是其中的一部分。

研发五大核心产品

友友系统的云计算操作系统并不是一款单独的软件，而是由友友系统的一系列核心产品构成的。姚宏宇把这些产品分为两个层次：位于核心底层的Bitsflow、NetVM、DataCell；在其之上的平台产品智存、智维，它们都具有自主知识产权和核心技术。其中，Bitsflow主要负责大规模分布式系统之间的通信和协作，是一个高容错、高性能的数据交换和应用协作平台；DataCell是一个用于海量数据的分布式存储系统，也叫云存储；NetVM是一个分布式管理系统及分布式计算开发框架，相当于三个产品中的总调度。

“这三个产品相当于三个引擎，就如同Linux内核一样，用于支撑之上的两大平台级产品，分别是智存和智维。”姚宏宇介绍说，智存主要针对对象和文件存储，类似文件系统；智维用于进行大规模系统的运维和管控。”姚宏宇说。

值得一提的是，所有这些产品中负责网络通信的Bitsflow是基础，也是友友系统区别其他云计算公司最大的核心竞争力。姚宏宇把云计算的技术路线分为三类，一类是以存储为核心，以Google为代表；第二类是以虚拟化为核心，以VMware为代表；第三类是以亚马逊为代表的混合体。而友友系统选择的技术路线区别于以上三者，友友系统是以网络通信为核心，这也是姚宏宇看重Bitsflow的原因所在。

“以网络通信为核心，这是基于我们多年来一直专注大型分布式系统研究的结果。”姚宏宇解释说，“所谓分布式系统是基于网络有延迟这个前提的，如果网络无限快，它就不是分布式系统了，而是一台超级计算机了。我们的工作就是努力管理好网络层，这就相当于缩短了分布式系统中各个模块之间的距离，这是我们公司整个技术的理论基础。”姚宏宇说，正是由于选择了这样一种技术理念，才使友友系统解决了分布式系统的协同和数据交换问题，大大简化了其它后续产品研发上的技术挑战。

姚宏宇坦言，由于产品的专业性，特别是专注在云计算的底层，而且解决方法又有别于传统技术，使得他们的产品在推广上遇到的第一个难题就是如何向客户说清楚他们的技术究竟是什么。不过，他遇到的最大挑战还是市场不成熟。比如在解决海量数据的整合时，人们更倾向于传统的基于数据库的各种集成技术，而没有想到或者还不太认同友友系统提出的解决方案，尽管友友系统的方案实现成本更低、上线更快。

“好在技术和成本优势明显，口碑正在逐步建立，这几年项目也渐渐开展起来，尤其在金融、电信、电力、政府、互联网、教育等领域，我们每年的进步都非常明显。”姚宏宇表示，未来友友系统的重点是继续培育市场，同时完善自己的产品。他说最大的愿望是有朝一日用户能像认可关系型数据库一样认可友友系统的技术。

创业者档案

姚宏宇，1988年考入中国科技大学少年班，1993年赴美留学，先后获威斯康辛大学麦迪逊分校计算机和材料系的硕士及博士学位。自2000年起在硅谷从事大规模企业软件和互联网技术的研究、开发和管理工作。曾任美国雅虎研究院高级研究员、美国SideStep公司资深管理人员及架构师等。2007年在北京创立友友系统, 并担任公司总经理。

记者观察

自信源于对技术的准确把握

采访姚宏宇后，有几个印象深刻。第一是他的技术背景，第二是他对市场的把握，第三则是友友系统的商业模式。

外界一提起姚宏宇，往往要说他在科大少年班求学、美国攻读技术专业、随后在雅虎工作。涉及到姚宏宇技术背景的部分，往往语焉不详。姚宏宇说，正是由于在雅虎的一段经历，才让他真正了解到互联网的魅力和最新技术发展趋势。所以，在采访中，他一再把云计算和互联网相比较，坚信云计算是“IT行业真正的一次新技术变革，将产生无法想像的影响力”。他也坚信，“产品叫不叫云计算都无所谓，我们做的就是与大数据、大系统有关的事情，只不过现在赶上了云计算热潮。”

他的这种自信源于技术，而非概念炒作。

由于重视技术，友友系统成立几年后，一直在做研发，并没有将精力放在市场推广上。“现在大多数情况是用户提出需求后，其他公司做不了，才找到我们。”姚宏宇说，一是技术满足用户需求，二是大幅度节约用户投资，最多能为用户减少60%的投资。所以从供需关系看，潜在市场较大。但用户也有担心，因为技术太新，现有产品解决不了的情况下，只能抱着试一试的态度采纳友友系统的方案。这让姚宏宇不得不一次次给用户阐述技术。

云计算与分布式技术篇3

根据wikipedia的定义,云计算是一种动态的、易扩展的、通常是通过互联网提供虚拟化的资源计算方式。用户不需要了解云内部的细节,也不必具有云内部的专业知识,或直接控制基础设施。云计算主要特点是能够快速部署资源或获得服务,能够按需扩展和使用,能够按使用量付费并通过互联网提供服务。

云计算目前已经成为提供各种互联网服务的重要平台。随着商用化进程加快,云计算的概念已延伸到提供各种运算服务,包括以虚拟化技术为基础的it资源整合服务。

2 云计算的发展历程

云计算的发展历程是一个经典的市场驱动的案例。google的创始者因为买不起昂贵的商用服务器来设计搜索引擎而采用了众多廉价pc来提供搜索服务。他们成功地把这种pc集群做到比商用服务器更强大,而成本却远远低于商用服务器的硬件和软件,形成了所谓的云计算技术。google的成功引发了产业对于云计算极大的关注,甚至把google云计算中五大关键技术(包括大规模集群管理、分布式文件系统、并行数据处理、分布式数据库、分布式资源管理)称为“五大巫术”。

云计算技术为it技术带来了重大变革。云计算技术极大地降低了企业的it建设及运营维护成本,降低了能源消耗,大大加快了企业信息化建设进程。云计算与互联网的结合催生了it商业模式的革命,促使越来越多的公司不再购买和维护软硬件,而是从amazon等公司租用计算、存储、网络资源以及it服务,使得企业实现信息化变得像获取自来水一样方便、廉价。不仅如此,云计算技术以其本身在大容量存储、超大规模计算能力方面的优势,使得云计算已成为科学研究不可缺少的助推器,成为推动着产、学、研、用紧密结合的新型创新模式。可以说,以云计算为代表的技术革命对现有信息产业及应用模式产生了深远的影响。

云计算已引起各行各业广泛的关注,也引起了各国政府的高度重视。美国、日本、英国等国家都在大力开展部级云计算项目,试图在这场it技术革命中抢占先机。

2.1 google神话依赖于平台即服务

回顾云计算的起步和发展轨迹,我们不得不谈到google在以搜索为核心的互联网应用方面的成功。

1997年,有两个美国斯坦福大学的博士生做了个软件作业叫做backrub,这是一个实验用的搜索引擎。在建立之初,backrub只是针对1 000万份具有错综复杂关系的网页进行分析,后来他们发现斯坦福大学有上千人在使用这个软件,于是他们决定继续研发这个软件。把搜索的网页数目扩大,把搜索的效率提高,这就需要更高的计算性能,于是他们决定用多台服务器来实现。起初他们在自己的宿舍里攒计算机,后来宿舍舍友有意见,就被迫挪到一个破车库里攒,同时继续完善他们的backrub软件。因为当时很穷,只能用最便宜的器件来攒这些服务器。于是他们就买别人淘汰的主板、过期的cpu、便宜的小容量硬盘,还有廉价的电源,并拿纸盒子做机箱,能省就省。为了节约显卡、键盘什么的全都不要,就这样一气组装了一堆服务器。1台价格大约100多美金。可这种廉价组装的服务器很容易坏,不稳定,怎么办?这两个学生决定靠写完善的容灾软件系统来克服这个毛病。就这样,到了1999年或者2000年的时候,他们已有了几千台这样的服务器。他们开始用网络把这些服务器连接起来,在上面试着部署他们写的软件系统来进行文本搜索试验。既然在这样一个系统里面不可能用1台机器实现高性能,他们就在软件系统里研究了一套新型运算模式来实现高性能运算,这就是人们现在所称的“云计算”。这两个学生叫做布林和佩奇,他们在车库里攒出来的公司就是现在鼎鼎有名的google。

如今,他们已经有了超过100万台服务器组成的云计算平台,并依赖这样的云计算平台提供其著名的互联网搜索服务、gmail服务以及google map和新型的google wave和google voice等互联网服务。

依靠云计算平台,他们的网络爬虫爬遍了全世界,包括

2.3 salesforce.com奠定了软件

即服务的云计算模式

云计算发展过程中的第3个里程碑,一定属于salesforce.com。起初,这家公司想做自己的数据库管理类软件,并把它卖给企业用户。可是他们发现,在数据库管理类软件领域,他们可能永远打不过oracle。但是他们发现oracle的昂贵价格让很多企业望而却步,更有很多工业制造和物流行业的企业花大价钱买了oracle产品后却因为缺少专业知识而不能把它用好。于是他们决定利用新型的互联网来提供软件服务,从而和oracle竞争。这家公司在1999年首次通过自己的互联网站点向企业提供以客户管理为中心的营销支持服务软件——客户关系管理软件(crm),使得企业不必再像以前那样通过部署自己的计算机系统和软件来进行客户管理及营销服务,而只需通过云端的软件来管理,从而为软件即服务(saas)奠定了基础。这家位于旧金山的科技创新公司,通过向中小企业提供云服务而迅速壮大,他们的48 000个企业客户遍布世界各地。这些中小型企业可以不用购买和安装软件来实现其企业信息化服务,且数据都存储在云端,从而大大节省了成本,并能最大限度和最方便地实现信息共享和随取。这些中小型企业使得saas供应商salesforce年营业额增速高达50%,成为目前纳斯达克股市中的一家明星公司。saas模式的云服务可以帮助任何一个不懂it技术的中小企业花很少的运营成本,快速并科学构建适合其商业需求的企业信息化平台,从而极大地推进了企业信息化进程,也加快了信息化和工业化的融合。

在云计算技术的驱动下,运算服务正从传统的“高接触、高成本、低承诺”的服务配置向“低接触、低成本、高承诺”转变。如今,包括iaas、paas、saas等模式的云计算凭借其优势获得了全球市场的广泛认可。企业、政府、军队等各种重要部门都正在全力研发和部署云计算相关的软件和服务。云计算已进入国计民生的重要行业。ibm和google开始与一些大学合作进行大规模云计算理论研究项目。政府和军队的“私有云”正在悄然建设。许多新兴的初创公司和大型企业正在全力研发和部署云计算相关的软件和服务。与此同时风险投资和技术买家的兴趣也在迅速升温。迎着朝阳前进,是it技术发源地——美国硅谷对云计算目前发展状态的定位。

3 云计算的发展前景

美国多家市场研究公司联合预测,云计算市场将在未来几年高速增长,it厂商正以快于预期的速度转向运用云技术。根据gartner的调查结果,2009年全球云服务收入增长21%,从2008年的464亿美元增至2009年的563亿美元。2013年全球云服务收入会达到1 501亿美元。

gartner分析师认为,传统的内部it服务和大量的新业务会持续迁移到云计算中。以云计算为基础的业务流程是最大的云服务市场,其中包括广告、电子商务、人力资源和支付处理。google、microsoft、yahoo等公司云服务收入到2013年将是最大的组成部分。目前全球性的经济衰退和更严格的it预算,也使运用云计算来托管应用程序和服务更有吸引力。云计算是计算产业发展的高级阶段和必然趋势,目前已在国际市场得到了广泛的认可。云计算使得企业(尤其是中小企业)、个人用户在几乎没有预付资金投入的情况下可以即时使用计算资源,不必再提前做it资源计划,将大幅削减运营和使用成本。云计算系统同时改善了业务流程。各行业和机构可以把重点放在业务流程和逻辑组织上,而非it设施的建设和维护上。

4 云计算的关键技术

云计算是以数据为中心的一种数据密集型的超级计算。在数据存储、数据管理、编程模式、并发控制、系统管理等5个方面具有自身独特的技术。

4.1 海量分布式存储技术

为保证高可用、高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性,以高可靠软件来弥补硬件的不可靠,从而提供廉价可靠的系统。为了满足大量用户的需求,数据存储技术必须具有高吞吐率和高传输率的特点。

云计算的数据存储系统主要有google gfs和hadoop开发团队开发的开源系统——hadoop 分布式文件系统(hdfs)。大部分it厂商,包括yahoo、intel的云计划采用的都是hdfs的数据存储技术。

4.2 并行编程模式

为了高效利用云计算的资源,使用户能更轻松地享受云计算带来的服务,云计算的编程模型必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。云计算采用mapreduce编程模式,将任务自动分成多个子任务,通过map和reduce两步实现任务在大规模计算节点中的调度与分配。

4.3 数据管理技术

云计算系统对大数据集进行处理、分析,向用户提供高效的服务,因此,数据管理技术必须能够高效地管理大数据集。另外,如何在规模巨大的数据中找到特定的数据,也是云计算数据管理技术所必须解决的问题。云计算系统的数据管理往往采用列存储的数据管理模式,保证海量数据存储和分析性能。云计算的数据管理技术最著名的是google的bigtable数据管理技术,同时hadoop开发团队也开发了类似bigtable的开源数据管理模块hbase。

4.4 分布式资源管理技术

在多节点并发执行环境,分布式资源管理系统是保证系统状态正确的关键技术。系统状态需要在多节点之间同步,关键节点出现故障时需要迁移服务。分布式资源管理技术通过“锁”机制协调多任务对于资源的使用,从而保证数据操作的一致性。google的chubby是最著名的分布式资源管理系统。

4.5 云计算平台管理技术

云计算资源规模庞大,一个系统的服务器数量可能会高达10万台并跨越几个坐落于不同物理地点的数据中心,同时还运行成千上万种应用。如何有效地管理这些服务器,保证这些服务器组成的系统能够提供7×24小时不间断服务是一个巨大的挑战。云计算系统管理技术是云计算的“神经网络”。云计算系统管理技术能使大量的服务器协同工作,方便地进行业务部署和开通,快速地发现和恢复系统故障,使云计算系统通过自动化、智能化的手段实现大规模的可运营、可管理。google通过其卓越的云计算管理系统维持着全球上百万台pc服务器协同、高效地运行着,其云计算系统管理技术被作为企业核心机密至今没有公布技术资料。

4.6 绿色节能技术

云计算技术降低了服务器的采购成本,从而使电源消耗所带来的运营成本成为云计算中心的主要开支之一。为了进一步降低成本,云计算的开发者在绿色节能技术上进行了大量探索。

云计算与分布式技术篇4

【关键词】 云计算；虚拟化技术；并行计算；SaaS服务

1 概述

随着科学技术和通信技术水平的不断提高，网络信息以及网络服务正以指数级着呢国家，用户的需求对于网络需求也在不断增高，传统的计算机用户将所有的应用安装在本地的模式已经不能满足当前的需求，尤其是面对当前分布异构、处理复杂的网络应用来说，更是有点捉襟见肘，“云计算”技术已经成为一种全新的模式，将巨大的系统资源整合在“云端”，通过互联网通信技术为终端用户提供各种IT服务，从而减轻终端设备的运行压力，提升IT服务的效率和质量。“云计算”技术方兴未艾，由最初的理论研究到现在的实际应用，“云计算”发展的步伐越来越快，并将为全球的IT产业掀起一场声势浩大的改革浪潮。所以深入学习和研究“云计算”技术的基本理论和技术，对于提升“云计算”技术的理解，加强“云计算”在学习和研究中的应用具有非常重要的现实意义。

2 云计算

由于云计算还在如火如荼地发展过程中，目前为止还没有统一的定义，简单地理解，云计算（Cloud Computing）是基于互联网相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常虚拟化的资源。根据伯克利云计算白皮书所说，云计算包括互联网上的各种服务形式的应用以及数据中心中提供的服务的软硬件设施。所以，云计算技术可以提供以服务为基本的交付方式，该交付服务具有高度的可扩展性，同时，云计算技术是以互联网技术为基础来进行开发和服务交付的，可以实现资源虚拟化、资源的自动管理与配置以及以及较低的成本对指数数量级别的数据进行分布式并行处理。

2.1云计算的工作原理

云计算技术的实现是依赖于互联网通信技术，在典型的云计算框架中，用户通过网络终端连入互联网络，通过互联网向“云端”服务器发送相应请求，“云端”服务器接收并分析用户请求后，会自动调用可用的系统资源来完成相应的数据处理和计算，并通过互联网络将用户的请求结果发送至网络终端，从而实现云计算的数据处理过程。云计算技术使得本在网络终端上进行数据计算和处理的功能转移到了网络服务器中，所需要的应用程序不再需要运行在用户的个人电脑、手机上，而是转移到了互联网上的服务器集群上，同时，对于数据的存储也会放到相应的服务器内，这样一样极大地简化了网络终端的资源开销，减轻了个人网络终端的设备管理和维护，用户只要能够接入互联网，即可随时随地地访问“云”，完成个人的需求。

2.2云计算的关键技术

云计算是以虚拟化技术、分布式存储技术、互联网技术等现代科技为基础发展起来，从云计算的基本概念上来看，需要实现分布式的计算功能以及数据存储功能，这也是云计算最关键的技术。云计算根据功能不同不同，又分为计算云和存储云。其中存储云是通过大量的分布式存储系统来完成存储云的基本功能，而计算云就是以资源虚拟化技术，通过分布式计算云的并行计算完成用户请求数据的处理。简单地讲，虚拟化技术是请求占用计算云更少的资源来完成用户请求，通过一定的计算策略，力求将数据处理的过程在更少的服务器上实现并行计算，从而使计算云的资源分配更加合理优化。并行计算技术也是云计算的关键技术，通过对大量的任务进行合理分析拆分，并派发到各个分布式计算云的服务器上进行计算，最后收集各个节点上的计算结果进行统一整理从而完成并行计算。

3 云计算的应用

云计算技术的快速发展，已经在各个行业中得到广泛应用，也改变了传统的互联网商业模式，为互联网经济带来了新的生机。云计算所提供的软件或者IT服务都是通过互联网技术进行传输的，所以互联网用户不需要安装任何客户端软件，只通过可通过浏览器来访问云端提供的服务。云计算在实际商业中提供的服务模式有主要分为三类，即软件即服务（Software as a Service）、平台即服务（Platform as a Service）以及基础设备即服务（Infrastructure as a Service）。如图1所示，为云计算提供的服务类型示意图。

图1 云计算的服务类型结构图

如图1所示，为整个云计算的服务类型结构图，网络设备、虚拟化平台，IaaS服务，PaaS服务，SaaS服务构成了整个云计算的平台，而客户只需通过互联网络即可享受云计算提供的服务。

其中IaaS服务是云计算提供的虚拟硬件服务，用户通过租赁云计算提供的虚拟硬件资源即可搭建自己的应用系统，从而节省了硬件设备的开支；PaaS服务是云计算提供的应用服务引擎，将开发的平台作为一种服务提供给客户，从而用户不必考虑底层设备与系统的兼容等问题即可在平台上搭建自己的管理系统或者通过扩展接口来完成自己的服务；SaaS服务是云计算将软件功能作为一种服务提供给客户，客户只需获得授权认证即可通过浏览器来访问云端计算机上的软件，从而避免了软件维护的成本开销，极大地方面了客户在相应功能上的应用。

4 总结

云计算以其互联网为基础，虚拟化技术、并行计算技术以及分布式存储等关键技术为主导，结合大量的网络设备以及服务器集群构成云计算体系，并以基础设备、扩展接口或应用平台、应用软件作为服务，提供给客户，客户只需通过浏览器访问互联网即可享受云计算提供的服务，极大地降低了网络终端负载，简化了客户的成本开支和系统维护的过程，为客户提供方便快捷经济的IT服务。

参考文献：

[1]幸海琼.云计算关键技术及应用研究[J].广东技术师范学院学报，2013（05）

[2]张建勋，古志民，郑超.云计算研究进展综述[J].计算机应用研究，2010（02）

[3]曹彩凤.浅谈计算机网络云计算技术[J].甘肃广播电视大学学报，2010（03）

云计算与分布式技术篇5

关键词：云计算； Map-Reduce算法

中图分类号：F470.6 文献标识码：A

云计算基于互联网的关联服务的频繁增加、使用和交付模式，通过互联网来提供海量的动态易扩展且多为虚拟化的资源。作为智能电网的中心，调度系统的运行方式计算朝着多区域联合协同计算模式的方向发展。由于电力调度时需要对实时变更的海量数据作出反应且分析后进行快速响应来保证电力调度和电力供应的时间段的安全运行。云计算在电力调度系统中可以解决电力调度系统对电力监控和事故响应问题，实现电力的智能化调度。

云计算模式构建电力调度信息平台

基于云平台下的Map-Reduce算法具有扩展性佳，容错性优良，同时可大规模并行处理海量数据，常常将该项算法的云计算技术运用在电力调度系统中，构建信息平台，对于云计算在系统中的妥善应用具有重要意义，因此要想更好的将与计算应用与电力系统中就必须有一个良好有效的信息平台。而构建信息平台的过程中云计算也是主要元素之一。下图就是在与计算的基础上建立的电力调度的信息平台层次结构图：

利用云计算，能够将系统中的计算资源以及业务数据等进行有效的整合，建立一个能够互相协作的信息平台满足电力调度对资源以及信息高度集成以及共享的需要。云计算运用多种虚拟化技术将系统软件、操作系统以及基础设施存在的差异屏蔽掉。把各种资源都抽象成了服务形式。

二、云计算模式在电力调度系统中的应用

根据电力调度系统的特点与现状，对云计算模式的应用进行设计，包括IT架构与调度多业务云设计。

IT架构分为四个层次，包括基础设施层、资源管理层、调度云服务层以及调度应用层，除此之外也包括贯穿各层的安全及运维方面的服务。

云计算在调度系统中的可行性的核心技术包括虚拟化技术和分布式技术。

虚拟化技术包括存储虚拟化、主机虚拟化、桌面虚拟化、网络虚拟化。存储虚拟化有利于实现调度系统中各种异构数据的存储和管理分析，保证调度系统的高度可用性。主机虚拟化有利于调度计算资源合理分配与集成管理的实现，但目前逐级虚拟化的技术还不成熟，不能充分满足安全性以及对多类型CPU支持方面要求。桌面虚拟化可以用于规模化的软件开发以及办公自动化。分布式技术包括并行计算、并行编程框架、分布式数据库。并行计算通过研究与探索，使得它在电力调度系统中的应用已经成为可能。它主要用于数据采集与监控、公式计算，动态安全评估系统在线潮流数据分析以及国网和省三级调度的分析和计算。

在相同的IT构架的基础上，根据不同业务的特点，对多重业务云架构设计了两级部署，分为一级调度和二级调度。一级调度一级分调度对下接口基于“调度云”的远程服务调用。二级调度对上端口和直调厂站与基于“调度云”的远程服务调用相接。一级调度与二级调度都包含搜索云、模型云、数据云、计划云、计算云。

云计算对海量数据的并行处理框架图如下：

其中，模型云结合了云计算的虚拟技术，形成并管理一个包含调度各业务的电网模型信息的一体化的云服务。数据云将实时数据库以及关系数据库和时序数据库等调度系统要用的各种类型的数据库进行整合，统一管理，从而形成的数据服务。搜索云指的是基于数据云、模型云、文档、下级搜索引擎等数据源，从而全面覆盖调度领域数据的息搜索服务。计算云指为小干扰计算、短路计算、暂态稳定计算、潮流计算等提供高效智能的电力系统协同计算服务。计划云指为调度计划提供状态通知、参数准备、数据准备、统一会商、统一计算和安全校核等服务。桌面云指的是基于桌面虚拟技术实现的云终端，通过网络与专业接口对调度系统内的各种“云”访问提供服务。调度云指的是各种云的集合，它的实质就是通过调度数据网络把分布在各个调度中心里的应用以及数据和IT资源整合构成的一个抽象虚拟以及可动态扩展的调度资源地，通过“需则用”的方式为调度管理、调度计划、方式计算以及模型管理等业务的应用以最快的熟读提供所要的计算和存储业务。

三、云计算在调度中的可用性和实现方式

在信息爆炸的时代，海量信息都需要被保存和处理，其中有的存在关系，有的是非关系数据，云计算的出现就成为了必然，它极大的提高了运算性能和可靠度。电力调度的数据繁杂且为连续不间断的搜集模式，以下是电力调度系统结构图：

实现云计算的算法很多，但近40年内正在逐渐被广泛应用在各个领域。Map-Reduce算法是较为普及的一种，虽然该技术存在些许不足，但它具有高精度可模拟仿真，对于海量的非关系数据群进行精细管理等优点无疑让它必将走向主流，并且逐步吸取新技术加以完善。其架构简图如下：

基于云平台下的Map-Reduce算法具有扩展性佳，容错性优良，可大规模并行处理海量数据，常常将该项算法的云计算技术运用在节能环保以及调度性能优化方面工程中。Map-Reduce云计算技术针对电力调度信息平台的特点与云计算在电力系统中应用的可行性,提出电力调度信息平台的技术架构借助Hadoop开源框架下云计算技术实现资源的虚拟化 。

云计算技术可采用廉价的服务器集群,对服务器类型不加限制,从而可以充分利用各级调度部门闲置的服务器资源,大大降低建设成本,避免重复投资。

四、结语

云计算的发展已然成为IT界的巨大变革，而IT技术又是智能电网的关键环节。我们可以肯定的就是，未来10年之内的云计算必定会给智能电网的建设带去诸多影响。在此种状况下，就要求我们做好相关可行性的论证以及总体设计，根据不同的需要进行云计算模式的应用研究与设计，尤其是在实际应用当中，更加需要实行稳扎稳打的方式。Map-Reduce云计算的实现优化了我们的生活和生产，但是云计算依然还存在不断优化改善的必要，需要引进和借鉴高新尖技术，提高对海量数据的存储调用优化和处理能力。

参考文献

[1] 曹阳等.云计算模式在电力调度系统中的应用[J].中国电力,2012,45(6):14-17.

[2] 冯登国等.云计算安全研究[J].软件学报,2011,22(1):71-83.

[3] 覃雄派，王会举,杜小勇等.大数据分析RDBMS与MAPREDUCE的竞争与共存[J].软件学报,2012,23(1):32-45.

云计算与分布式技术篇6

关键词：广电网络；云计算

自2007年开始为业界关注以来，“云计算”已经成为信息技术行业最热门的词汇之一，吸引了几乎所有的it企业投身其中，其在电子、通信、金融、医疗、能源、教育等多个领域的广泛普及与应用，将催生信息技术继pc、互联网之后的第三次革命浪潮，引发未来新一代信息技术、it应用方式的核心变革，同时也将带来工作方式和商业模式的根本性改变。

在“三网融合”的新形势下，广播电视正从传统的模拟、线性、单向的传播方式向着数字化、网络化、双向化、高清化、3d化的多元方式转变，随时随地的海量数据交互要求对现有的计算架构提出了重大挑战，而云计算模式无论是在节省成本还是在系统的快速弹性扩展方面都具有得天独厚的优势。对于正处于发展转型期的广电企业而言，更应该抓住云计算发展的契机，将后发劣势转化为后发优势，通过这一全新的用户体验与商业模式，满足“三网融合”时期跨越式发展的需求。

1 云计算技术概述

学术界与产业界分别从不同的角度，以不同的方式给云计算下做出了不同版本的定义。从技术发展的趋势看，云计算是网格计算（grid computing）、分布式计算（distributed computing）、并行计算（parallel computing）、效用计算（utility computing）、网络存储（network storage technologies）、虚拟化（virtualization）和负载均衡（load balance）等传统计算机和网络技术发展融合的产物[1-3]，按照维基百科2011年给出的定义，云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备，其可以包含基础设施即服务（iaas）、平台即服务（paas）及软件即服务（saas）等几个层次的服务。

在云计算模式下，用户端设备（个人电脑、智能手机、机顶盒/智能电视等）不再是存储和计算提供者，转而变为网络的接入终端，主要提供输入和输出功能，用户可以在任意时间、任意地点通过任意设备接入网络完成工作。它降低了对用户端设备的要求，且不会受到终端硬件或软件平台的局限。因此，云计算技术是一项革命性的举措，其最为显著的四个公共特征是弹性伸缩、快速部署、资源抽象及按用量收费[1]。

云计算的关键技术包括虚拟化技术、分布式系统技术及云计算平台管理技术等，如图1所示。

1.1 虚拟化技术

虚拟化是实现云计算最重要的技术基础之一，是指将计算资源或计算环境加以抽象后呈现给其上运行的操作系统，使多个操作系统可以同时共享一个物理计算机设备。虚拟化技术可以分为服务器虚拟化、存储虚拟化以及网络虚拟化技术等。

1.2 分布式系统技术

分布式系统一般是指通过网络将多个独立的计算节点（物理服务器）连接起来共同完成一个计算任务的构成模式，其主要由分布式文件系统、分布式数据库、并行编程模型和分布式协同管理技术等构成。

1.3 云计算平台管理技术

通过云平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。云计算平台管理技术主要由自动化部署、弹性能力提供、资源监控、资源调度、负载均衡、用户管理、业务服务管理和计费度量管理技术等组成。

2 云计算产业发展现状

目前，云计算产业链的参与者分为使能者、服务提供商和用户三类，如图2所示。

其中，云计算使能者是指为云计算服务商供应其提供服务所需的基础构建的角色，主要包括软件提供商（虚拟化软件、分布式中间件等核心软件）、设备提供商、系统集成商、咨询服务商等；云计算服务提供商主要指公有云的提供商，可以分为三类，即iaas服务提供商、paas服务提供商和saas服务提供商；云计算用户既包括使用服务提供商提供的云计算服务的用户（最终用户），也包括购买云计算解决方案的用户，如私有云产品方案的购买者。

3 广电云计算发展定位

3.1 网络通道服务提供商

与传统互联网产业类似，广电网络

营商提供网络接入服务作为云计算的业务通道。

3.2 基础资源服务提供商

广电网络运营商不仅提供网络资源，还提供包括服务器、存储在内的基础it资源，并将它们以资源使用量或服务的形式提供给所有外部用户。

3.3 服务整合平台提供商

以网络为核心，创建一个体验良好的交付平台，提供基础的认证、计费、代收费、推广等服务，汇聚第三方开发的应用，以统一的交付界面提供给用户使用，广泛覆盖各种类型的用户。

3.4 咨询服务提供商

面向大型客户，提供包括网络、it基础设施整合等一揽子解决方案，帮助大型客户构建自己的私有云。

4 广电云计算业务需求分析

4.1 下一代广播电视网建设

建设一个具有云计算特征的下一代网络是ngb未来的发展趋势之一。《中国下一代广播电视网（ngb）自主创新战略研究报告》指出：ngb融合了广播电视网络和互联网的技术优势，具有独特的网络特征，主要体现在具有开放式业务支撑架构，承载网对业务透明，服务提供机制引入云计算和透明计算模式以保证业务提供的便捷性、开放性与可信度。

4.2 媒体内容的资源管理与使用

可通过内容资源管理系统的云计算改造，构建区域性的媒体内容资源池，逐步形成多片独立的媒体云，从而大大缩减媒体内容资源的存储成本、设备购置成本及维护成本。同时，通过相应的标准协议使不同的媒体云互联互通，逐步形成广电“媒体大云”，促使媒体资源更大范围内的共享。 　4.3 创新业务形态

业务融合是“三网融合”的实质所在，业务形态的创新是ngb建设的核心。云计算技术可以实现不同设备间的数据与应用共享，具有跨终端平台的业务推广优势，实现电视屏幕、电脑屏幕、手机屏幕真正的“多屏合一”，有助于数字医疗、智能家庭、家庭安全控制等新业态的快速、低成本推出，为用户提供全新的业务体验。

4.4 客户终端设备性能提升

云计算使得简易终端支持复杂应用成为可能，数字电视机顶盒、无线手持设备等客户终端的配置要求不用太高，即可开展高清互动电视和各类增值业务，在很大程度上解决终端设备性能需不断升级的问题，有效地降低运营商在终端上的投入，在节省投资的同时快速部署各类增值应用。

4.5 it支撑管理

随着“三网融合”进程的推进，未来广电运营商将在统一的运营框架下，支持开放业务运营环境下内容和业务的运营和管理，支持结算中心和第三方支付等新型收（付）费模式，支持创新业务或服务的全网快速部署，对it支撑提出了更高的要求。云计算在跨域it系统建设与整合、规模数据的共享与处理、信息系统的维护升级等方面都有广阔的应用前景。

5 广电云计算实施策略

从广电运营商的现有情况出发，广电云计算平台的建设可以采取以下策略分步演进：

5.1 从新业务、非核心业务局部开展

在云平台建设的初期，适宜选择广电网络中的非核心业务与对资源需求动态扩展性高的新业务开展。

5.2 从引入云计算的部分核心技术开始

不妨从云计算的先进it技术开始，如虚拟化、分布式存储、并行编程模型、云平台管理技术等，不断实践，积累经验。

5.3 先私有云后公有云

可以采用云计算技术先建立局部的私有云，开展小规模试验应用，满足内部一定范围服务的需要，摸索云环境下业务应用和流程的适用性，不断扩大服务范围，最终扩展至为公众用户服务的公有云。

5.4 逐步建立云平台的安全体系

在不断实践的过程中，结合传统系统安全模型及相关规范，结合云计算的独特性，规范云计算安全体系，为云计算的稳步推进奠定基础。

5.5 进一步提升广电网络的接入质量

在“网络即服务”的云计算时代，用户的应用越来越多的涉及实时性的交互，对网络的要求除了接入带宽，也包括实时性（延迟）和稳定性（丢包率）等，这是影响用户体验的核心因素。因此，必须将网络建设作为保证广电网络运营商优势的核心内容，进一步提升网络的接入速度、质量和覆盖范围（有线、无线），做到随时随地、安全可靠的为用户提供实时在线服务。

5.6 重视已有it资源的整合利用

高效、节能是云计算模式的发展初衷。由于云技术基础设施具有投资规模大、回收周期长、运维成本高等特点，因此，必须始终以市场需求为导向，

认真梳理已有it资源，对过剩资源进行充分的整合利用，坚决杜绝基础设施的重复建设、重复投资。

6 总结

广电云计算技术的应用与发展是一个复杂的系统工程，在实践的过程中，可以考虑部分云平台独立建设，也可以根据需要，与第三方机构合作建设云平台，更好的满足应用的需要。云计算技术发展所依赖的大量关键技术，其成熟度也需要在广电业务中的应用与实践过程中得到进一步检验与完善。

[参考文献]

[1]雷万云.云计算：技术、平台及应用案例[m].北京：清华大学出版社，2011.

云计算与分布式技术篇7

1教学资源库存在问题分析

20世纪90年代，我国教育部为促进校园数字化建设，实现教育信息化，提出了构建教学资源库的方案。各级学校在该方案的指引下开始教学资源库建设的探索，目前已取得了一定的成效，例如许多学校实现了远程视频教学、多媒体教学等等。但由于各级学校分布在不同的地理区域，同时各级学校之间的差异较大，使得教学资源库的建设仍然存在诸多的问题，具体体现在个性化缺失、重复性建设、新技术应用水平低、管理与维护不专业、硬件资源无法共享等。针对这种现状，有必要对教学资源库的建设展开专项研究。

2教学资源库构建的关键技术

2.1云计算技术简介

云计算（Cloud Computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源，是分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）、热备份冗余（High Available）等传统计算机和网络技术发展融合的产物。云计算技术的产生是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变，具有超大规模、虚拟化、通用性、高扩展性、高可靠性与廉价性的特点。

2.2虚拟化技术

虚拟化技术是将计算机的各种资源打破实体间的障碍，使用户能够采用更好的方式将计算机的各种资源进行组合，提高各项资源的利用率。因此，虚拟化技术可以理解为一种资源管理技术，能够打破地域、物理、架构方式组态的限制，使得虚拟化技术成为云计算技术实现的基础。虚拟化技术根据其虚拟化特征，可以划分为硬件虚拟化、桌面虚拟化、数据库虚拟化、软件虚拟化、服务虚拟化等。

2.3分布式技术

分布式技术是一种基于计算机的处理技术，通常分为分布式计算与存储。分布式计算是将复杂的计算任务划分为多个小的计算任务，然后分配至多台计算机进行计算处理，最后汇总计算结果再进行综合计算得出最终结果。分布式计算充分利用了各台计算机的硬件资源，同时也降低了各台计算机的计算压力，实现了负载均衡，提高了计算效率。分布式存储是将存储的资料、信息或数据划分为多个信息块，然后存储于不同的计算机设备中，由位置服务器定位各信息块所存储的计算机。

3基于云计算技术的教学资源库构建方案

3.1教学资源库云服务的整体架构

教学资源库是一个专门的管理教学资源平台，不仅需要具备较大的教学资源存储空间，同时也需要专门的管理与维护团队来保障平台的稳定运行。并且需要打破当前教学资源库孤立的格局，实现教学资源库的共享，解决当前教学资源库构建中所存在的问题。而云计算技术的出现，为解决这些问题提供了可能。基于此，本文将基于云计算技术完成教学资源库构建方案的设计。图1是基于云计算技术构建的教学资源库云服务的整体框架。

3.1.1用户层

用户层即教学资源库面向用户的层次。用户可通过计算机、移动终端设备接入网络随机随地的访问教学资源库。同时为了提高用户对教学资源库的体验，建立更多的个性化功能，例如建立用户个人档案功能，并通过个人档案记录用户的行为偏好，以便能够给用户精准的推送相应的教学资源，为用户提供更多的个性化服务。

3.1.2资源库层

资源库层采用云计算技术进行实现，可集成更多的服务资源，同时也不再需要过多的考虑服务资源扩展而购置软件与硬件。并且能够在保障教学资源库安全稳定运行的条件下，为用户提供更多、更好的服务。具体所提供的服务包括用户体验式服务、协同服务、知识服务、网络社区化服务等。

3.1.3云端层

云端层即架构教学资源库的基础设备、云平台与服务器端应用等。云计算机技术具有极强的基础设施集群能力，可为教学资源库构建提供强有力的支持。同时，通过云端层提供的云管理平台提供的集中式管理服务，能够为用户提供更加优质的服务。

3.2教学资源库云服务的基本功能

基于云计算技术所构建的教学资源库要保证稳定可靠的运行，以及能够吸引更多用户使用教学资源库，必须具有强大的功能。本次构建的教学资源库方案的基本功能包括资源目录索引管理、文献资料管理、课件管理、教学素材管理、试卷管理、案例库管理、常见问题解答库管理等。以及用于教学资源库云服务管理的配置管理、故障管理、性能管理与安全管理等。教学资源库云服务的基本功能如图2所示。

3.3教学资源库云服务的部署模式

本次设计的教学资源库以云计算技术为基础，采用云服务模式进行部署。在云服务模式下，以各学校的教学资源共享为基础，教学资源库负责教学资源的管理与存储，以及教学资源元数据的规范，使得各学校能够随时随地的获取教学资源库中的教学资源，并且可根据学校自身的软件与硬件环境部署云服务节点或管理平台，这样便能够实现各学校对教学资源库的独立运行与管理。教学资源库云服务的部署模式如图3所示：

云计算与分布式技术篇8

关键词：智慧城市；云计算；物联网；大数据

中图分类号：TP391 文献标识码：A 文章编号：2095-1302（2016）11-00-05

0 引 言

智慧城市是指在新一代物联网、云计算、大数据等信息技术支撑下，把城市建设与数字化、智能化、网络化、互动化、协同化融合在一起，形成生活便捷、环境友好、资源节约、可持续发展和具有创新环境的城市形态。智慧城市技术是解决城市发展进程中存在问题的重要手段，它可提升城市服务水平，使城市实现自动感知、高效信息处理，有效决策与智慧调控，提高城市的管理与运转效率[1]。

智慧城市的关键技术是指物联网、云计算和大数据三大核心技术，这三大技术都属于平台性的包含众多技术分支的总体性描述，是智慧城市信息系统强大感知能力、计算能力和数据应用能力的体现。

1 智慧城市关键技术

1.1 物联网技术

物联网技术实质上是通过在城市体系中应用传感技术、通信技术和网络技术把城市物品与互联网相连，按约定的协议进行信息处理和交换，实现对物品的识别、定位、跟踪、监控和管理的一种智能化网络。物联网是新一代信息技术的重要组成部分，通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，将用户端延伸和扩展到了任何物品和物品之间进行信息交换，提升了城市运行的效率和效益。

1.1.1 物联网体系架构

物联网技术实现了物品与物品间的信息交流和通信，它的网络架构由感知层、网络层和应用层组成。物联网体系架构图如图1所示。

1.1.1.1 感知层

感知层是物联网系统的触角，通过识别、数据获取、处理和通信等将物品与互联网相连，进行信息交换和通讯，实现任何物品的智能化识别、定位、追踪、监控和管理。感知技术是物联网实现的基础，是物物相连实现的核心技术，只有通过感知技术进行数据采集后，系统才能对物体进行智能控制。

1.1.1.2 网络层

网络层是物联网系统的信息通道，是互联网应用的延伸和拓展，其使得网络更加互联互通。如果单凭物联网系统，由于网络终端的计算和存储能力十分有限，不能形成强大的物理系统和应用系统，因此它必须融合到大数据云计算系统平台中，利用云计算技术强大的资源整合能力，实现海量数据的存储、计算以及信息安全保障功能，物联网技术通过云计算平台可以实现更透彻的感知、更广泛的互联互通以及更深入的城市智能化。

1.1.1.3 应用层

应用层是物联网系统的受益终端，也是人与物沟通的平台，从智能家居、智慧医疗与养老、智能电网到智能的交通管理、城市管理、物流管理，物联网在居民城市生活的各个方面都得到了广泛的应用。

物联网技术的基本工作程序是： 物联网感知层和控制层通过射频识别（RFID）等信息传感设备对城市系统和环境的各类信息数据进行采集，再由网络层传送感知信息，在大数据云计算平台中对信息进行汇聚、提取和处理，并实现行业集成的应用接口整合。最后在应用层中完成智慧家居、智慧交通、智慧医疗等功能。系统架构中的安全保障体系将涵盖物联网各层面的安全，保障网络系统的稳定运行。

1.1.2 物联网关键技术

物联网发展中的关键技术指RFID 技术、传感网络、网络与通信技术、嵌入式系统技术。

1.1.2.1 RFID

RFID （Radio Frequency Identification，RFID）射频识别是一种利用无线射频识别来获取目标对象相关信息的技术，属于非接触式自动识别技术的一种，它通常由标签（Flag or Transponder）、阅读器（Interrogatoror Reader）和数据管理系统组成。其工作原理是阅读器发射特定频率的无线电波能量，以驱动电路将内部的数据送出。此时阅读器依序接收解读数据，送给应用程序做相应的处理、采集和存储。这是物联网信息数据采集、识别的主要技术。

1.1.2.2 传感器技术

传感器技术是探测物体物理信号的感知信息技术，物联网中的传感网络由大量传感器组成，传感网络分为传感单元、处理单元、通信单元。其工作原理是通过物理传感器、化学传感器、视频传感器等核心部件实时获取如温度、湿度、运动等信息，并把部分模拟信号转换成数字信号，完成数字信息的采集工作，通过网络层把信息传送给大数据云计算平台[2]。

1.1.2.3 网络通信技术

网络通信技术主要包括无线低速网络、移动通信网络和M2M技术等。无线低速网络是指物体与物体在连接过程中，既有智能的也有非智能的，为了适应网络中那些能力较低节点的低能量、低速率、低计算能力指标要求，在将各类物体连接在一起后，通过低速网络协议实现互联互通。它包含蓝牙、紫蜂协议和近距离通信NFC等网络技术。移动通信网络是指通信双方或至少有一方处于运动中进行信息传输和交换的通信方式，它包括卫星移动、蜂窝移动、无线寻址、网关等技术。M2M技术是“机器对机器”的缩写，是指通过通信技术来实现人、机器和系统之间的智能化、交互式无缝连接，M2M技术也是物联网实现的关键，可用于安全监测、自动售货机、货物跟踪领域等[3]。

1.1.2.4 嵌入式系统技术

嵌入式系统一般指非PC系统，是完全嵌入受控器件内部，为特定应用而设计的专用计算机系统技术，嵌入式系统的构架由处理器、存储器、输入输出（I/O）和软件四部分组成。物联网不仅提供了传感器的连接，其本身也具有智能处理的能力，能够通过嵌入式系统对物体实施智能控制。

1.2 云计算

云计算是基于互联网的服务的增加、使用和交付模式，常通过互联网提供动态易扩展、虚拟化的资源，它是在分布式计算、网格计算、效用计算的基础上发展起来的，是一种通过网络提供服务的计算模式。云计算是能为用户提供无限计算资源的网络服务，是应用服务按需定制、易于扩展的软件架构。

1.2.1 云计算的体系架构

云计算的体系结构分为四层，如图2所示。

（1）软件即服务（SaaS）。把软件作为服务，服务提供商集中资金完成软件和软件设施的建设，负责管理和维护， SaaS实现了软件服务租赁化。

（2）平台即服务（PaaS）。把开发平台作为一种服务，用户以租赁的形式使用应用程序，PaaS可提供中间软件平台，开发程序数据库，托管服务和应用服务器。PaaS实现了平台的可伸缩化。

（3）基础设备服务（IaaS）。把基础设备转化为服务，服务提供商将服务器组成庞大的基础设备，用户通过租赁的方式接受存储资源和虚拟化服务器服务，IaaS 实现了存储和资源的虚拟化。物理资源层主要提供物理设置服务，并把存储作为一项服务，为互操作留有编程接口，它包含计算资源、存储资源和软件资源等。

SaaS、PaaS和IaaS服务在工作过程中既独立又相互联系，从用户角度而言，这三种服务是独立的，因为它们提供的服务完全不同，面对的用户群也不相同。但从技术角度而言，这三种云服务不是独立的，例如SaaS提供的产品和服务不仅需要SaaS技术支撑，还依赖 PaaS所提供的开发平台或直接部署于IaaS计算资源上。此外，PaaS的产品和服务也可能构建于IaaS服务之上。

1.2.2 云计算关键技术

云计算系统应用了许多技术，主要有虚拟化技术、数据分布存储技术、安全技术、编程模型四个方面。

1.2.2.1 虚拟化技术

虚拟化技术可以将离散的硬件资源统一起来以创建共享动态平台，在提供的云计算服务中，并非在真实的硬件上运行，而以虚拟软件为基础进行系统运算，实现在一台服务器上运行多个虚拟机。在云计算系统通过虚拟技术处理后，可以最大限度调动和使用网络资源，进行海量数据计算，运行多种应用程序和超强存储等，提高服务效率，高效地为用户提供各类服务。目前在云计算中普遍使用VMware、Xen和KVM虚拟技术。

1.2.2.2 数据分布存储技术

云计算系统的运行需要海量的存储空间，同时还需要提高存储数据访问的可靠性和高效性，分布式存储架构能够使众多计算机集群协调作业，它的文件管理协调系统将海量数据通过多台计算机进行并行计算，将大量数据以分布式进行储存，从而完成大型数据工程的分解、协同、计算和存储任务。当前分布式存储技术已成为云基础架构的关键部分，常用的如Google的GFS，Amazon的Dynamo，HDFS和Big Table等。

1.2.2.3 安全技术

从计算机网络研发到应用，安全始终是关键问题，在云计算系统中，用户的软件在“云”中，同样数据也在“云”中存储，云计算的安全不仅基于传统的信息数据保护，终端基础设施保护及新引入数据的兼容等安全问题，还涉及到云计算的动态易扩展特性且经常是虚拟化资源的特点，必须采用更高级别的安全技术来确保云计算平台的安全，云的安全性和稳定性是用户首要考虑的因素。

1.2.2.4 编程模型

为了让用户能更好地使用云计算提供的服务，获取更大的计算性能，云技术提供了编程模型，用户可通过模型编写程序实现特定的功能，这种简化的分布式编程模型和高效的任务分派调度模型极大地方便了用户编程人员[4]。目前较为常用的是由Google公司研发的Map Resuce，它的主要内容有函数式编程语言的映射和简化操作，也是大规模数据集的并行运算过程。

1.3 大数据技术

大数据（big data）是指在特定时期和环境里无法对巨大的信息通过人工或常规工具进行整合、利用和处理的海量数据资源。随着技术的进一步发展，如何使用非常规软件技术和特定的应用工具来挖掘利用这些信息数据集合是大数据技术要解决的关键问题。大数据处理仅靠单机无法完成海量资源的整合，它需要通过云计算的分布式处理、分布式数据库、海量存储和虚拟化技术来实现从各种各样类型的数据中高效获取有价值信息的能力，这就是大数据技术。

1.3.1 大数据架构

从技术上分析，大数据与云计算密不可分。大数据通过云处理与云应用平台等云计算技术相结合来提升智慧城市信息系统的高可用性、高性能以及数据中心硬件资源的利用率。大数据具有Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）四个特点。

智慧城市在基于云计算环境下的大数据架构如图3所示。技术体系框架有一个共同的特性，即以数据的获取与管理技术作为底层支撑，以数据挖掘、处理和分析技术作为整个框架的核心构成，在此基础上对城市用户提供多样化的服务应用。未来智慧城市技术的发展方向必将以数据为中心。

智慧城市云平台是城市建设的核心。云平台采集大数据技术处理层所提供的数据信息以及系统的各类硬件资源和软件资源，通过虚拟化技术将计算资源、存储资源和网络资源统一构造成虚拟资源池，使用虚拟资源管理技术实现云计算资源按需自动分配与调度、动态扩展、自动部署。用户按需获取资源。其中，分布式文件系统和分布式存储系统构成了整个云计算的基石，提供上层系统所需的可靠和高效的数据存储，能够满足容错与自动故障恢复、高效的读写与创建、适应网络访问等要求。另外，云计算作为一种以虚拟化资源调度为核心的计算模式，在全局资源调度方面具有降低系统能源开销和提高基于云的远程资源访问效率的优势。

大数据技术处理层是智慧城市数据分析处理的中心。它主要完成大量不同类型的信息处理，实现信息交换和资源共享，最大限度发挥这些数据信息的效用和价值。城市数据具有非常多的类型与来源，即数据的多元性。这些不同来源的城市数据无论是从结构上、组织方式上、维度尺度与粒度上都会存在巨大差异，即数据的异构性。因此大数据应用到的技术也很多，如整合、处理、管理和分析大数据的技术包括商业智能、云计算、数据仓库、数据集市、分布式系统、元数据、关系型数据库、R语言、结构化数据、非结构化数据、半结构化数据可视化技术等。用于大数据分析的技术包括关联规则挖掘、数据聚类、数据融合和集成、数据挖掘、神经网络、神经分析、信号处理、空间分析、时间序列分析、时间序列预测模型、可视化技术等[5]。

源数据层是智慧城市数据的抓手和触角。源数据层数据信息来源多、类型杂、体量大，目前尚未有统一的格式和标准作为数据接入与汇集机制，使之形成信息间的关联关系。在城市数字化建设过程中形成了许多网络架构，如物联网、移动通信网、地理信息网以及各行业的业务数据网等，在城市环境中提供了异构、多维、海量、多时相和多观测模型的空间信息。此外，种类繁多的传感器、控制器和计算终端所采用的设备技术指标和参数主要针对某一类应用展开，之间缺乏兼容性和体系规划，如何实现各种通信标准的互联互通以及不同数据格式的转换，就成为感知智能服务必须解决的问题。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入大数据处理技术。

1.3.2 大数据关键技术

在智慧城市的云平台中，大数据应用技术非常多，其关键技术是指数据采集技术、数据挖掘技术、数据存储技术等。

1.3.2.1 数据采集

数据采集是指从各种集群网络、传统数据库以及行业系统数据源中收集与处理庞大而复杂的数据信息的过程。在集群网络中可利用网络搜索引擎技术如网络爬虫等实现对数据的抓取，传统数据库通过ETL将分布的、异构的数据如关系数据、平面数据文件等进行提取、转换、加载等预处理，然后按照定义好的数据模型加载到数据仓库（DW）或数据集市（DM）。行业系统数据源通过成熟分布式框架如Chukwa、Flume、Scrib等，实现信息的分布式收集和统一处理。

1.3.2.2 数据的挖掘技术

智慧城市建设存有海量信息， 挖掘技术就是从这些信息中获取有价值的知识。利用数据挖掘技术能够合理有效的整合、挖掘和智能处理网络中的海量数据，结合云计算技术，可为网络平台提供动态伸缩的高效率计算模式和解决网络融合等问题。数据挖掘系统由数据库、数据仓库或其他信息库、数据挖掘引擎、图形用户界面等组成，数据挖掘的算法主要包括神经网络法、决策树法、遗传算法、粗糙集法、模糊集法、关联规则等方法[6]。

1.3.2.3 数据存储技术

大数据的数据容量庞大，包含结构化数据、半结构化数据、非结构化数据三种类型，由于大数据依托于云平台运行，充分利用了云计算的分布式文件管理与计算处理、数据管理等技术，很好地解决了存储问题。常用的数据存储技术有分布式文件存储、关系型数据库、实时数据库、列式数据库等。

2 云技术在海南万宁智慧城市建设中的应用研究

2013年海南省万宁市成为首批国家智慧城市试点之一，万宁市在进行智慧城市建设时需要有一个以云计算技术为支撑的数据控制平台，统一调配各类资源， 实现随需应变动态伸缩的能力。海南建设智慧城市要从解决民生问题为中心，从创新的视角来提升经济发展水平，改善环境、提高能源和资源利用率等。同时还要围绕智能化基础设施建设、传统产业智慧改造、新兴智慧产业的培育、智慧政府建设、智慧化城市生活环境和管理、智能化公共服务体系等战略重点领域，构建城市公共信息平台、网络平台、应用平台等信息化基础设施。此外，海南与全国一样仍然存在资源透支、环境污染、交通拥堵、就业困难、社会管理薄弱等问题，构建智慧城市将成为解决城市社会问题的重要途径。

根据智慧城市建设规划，万宁重点推出3大类、17个子项目进行招商，涵盖智慧城市建设基础设施建设、智慧管理、智慧民生、智慧产业4个领域。同时，提出万宁建设智慧城市的七大示范区：以万城+滨海新区、兴隆、神州半岛、石梅湾、日月湾、山钦湾、奥特莱斯（万宁芭蕾雨）为智慧城市建设示范区，按照国家标准，根据各区域的特点，将这7个区域建设成为有特色的智慧城市示范区。万宁这7个示范区通过信息网络实现了无缝对接。

考虑到基于云计算IaaS架构进行设计，海南万宁市的智慧城市建设以云计算数据中心为核心，打造独立于多个应用系统的公共云，如设定政务云、交通云、教育云、安全云、海南旅游云、医疗云、生态云等，为各类下层应用提供支持，通过云数据平台对七大示范区资源进行统一调配和管理，未来在示范区成功经验的基础上，云网覆盖全市，新功能的云又增加到云平台中，其架构能后续扩展支持其它云，云计算智慧城市架构如图4所示。

3 结 语

智慧城市关键技术是指物联网、云计算和大数据三大核心技术，这三大技术都属于平台性的包含众多技术分支的总体性描述，如表1所列，是智慧城市信息系统强大的感知能力、计算能力和数据应用能力的体现。

中国高速的经济发展促进了城市化的进一步提高，据预测，到2020年，中国的城市人口居住量将达到50%，2050年将达到75%。快速城市化进程给城市规划、建设、运行和发展带来了大量新的问题，出现了城市经济发展失调、环境建设失衡、社会管理失稳、城市运行失序等社会矛盾[7]。智慧城市可以实现更透彻的感知、更广泛的互联互通和更深入的智能化，可以实现资源的优化配置与成本节约，可以避免“信息孤岛”，有效改善民生，保护经济、社会与国家安全，实现人口、资源与环境的可持续协调发展。目前，世界各地以智能手机、智能交通、智能家居、智能电网、智能小区、智能医疗、智能安全及智慧政府等为代表的智慧城市建设正在快速展开[8]，人们享受着技术对生活带来的便捷同时，已经深刻感受到智慧城市让生活变得更美好。

参考文献

[1]陈金梅.智慧城市的愿景及其评估――智慧天津建设的对策建议[J].科学观察，2013 （2）：80-82.

[2]周杨福.论物联网技术对于智慧城市的应用[J].网络安全技术与应用，2014（2）：22-23.

[3]张丽.物联网技术及在智慧城市建设中的应用[J].信息通信，2015（8）：140-141.

[4]龚强.云计算关键技术之编程模型认知研究[J].信息技术，2015（1）：1-3.

[5]邹国伟，成建波.大数据技术在智慧城市中的应用[J].电信网技术，2013（4）：25-28.

[6]李德仁.智慧城市中的大数据[J].Science China Information Sciences，2015，58（21）：1-12.

云计算与分布式技术篇9

[关键词]云计算计算机取证云取证模型

中图分类号：TP393.08 文献标识码：A 文章编号：1009-914X（2015）05-0333-01

一、引言

云取证（Cloud Forensics）指的是在云计算环境下的计算机取证技术，是一个云计算和数字取证交叉的学科。云计算（Cloud Computing）是由美国谷歌公司于2006年首次提出。我国著名学者李德毅院士认为，通俗地来说，云计算就是一种基于互联网的大众参与的计算模式。时至今日这种商业计算模式已经大量使用，与百姓的生活产生息息相关的联系。计算机取证（ComputerForensics）是利用各种计算机软硬件知识和辨析技术，对计算机入侵、破坏、攻击、欺诈等犯罪行为，按照符合法律规范的方式进行识别、保存、分析和提交数字证据的过程。云取证则是在云计算环境中，查找犯罪线索，固定、搜寻、确认和恢复云环境中各类设备存储的电子证据。

二、云计算环境下的计算机取证

云计算系统为数据的分布式处理提供了一种新的模式。其虚拟化技术是适用于所有云架构的一种基础性设计技术。在云计算中，它主要指平台虚拟化，或者是从使用资源的人和应用程序对物理IT资源的抽象作用。虚拟化允许将服务器、存储设备和其他硬件视为一个资源池，而不是离散系统，这样就可以根据需要来分配这些资源。基于云环境下的计算机取证可能会涉及更加复杂的电子证据采集和分析。

如果在取证时需要对计算环境进行保留，那么云计算技术在某些方面对电子证据的调查分析是十分有用的。在某些方面对它将所处的计算环境进行备份，放到云中供取证者分析研究，同时携带正常的运作过程。然而这些送入云环境的移动数据仅仅是一些简短的描述，因为在公共云计算系统中的数据可以存储在世界任何一个地方。它的传播也可能是在没有现成的隐私法可以执行或者不存在的国家，因此，对于这一系列的数据的保管可能难以实现。当证据被保存下来或者相关数据被捕获时，要开始采取对证据的保护措施。数据在云环境下大多是临时的或半永久的，因此证据将变的更加虚无和动态化。使得证据的获取和保管变得困难。比如，如果获得了云计算系统的应用程序申请，数据会被写入操作系统，如注册表项或者网络临时文件夹，数据将会驻留或者保存在云计算开辟的虚拟空间中，因此当用户退出服务时数据将会丢失不予保存。这使得传统存储在用户硬盘上的证据变得无法恢复。此外，公用云中的物理计算设备相对比较简单，云环境下通过法律程序获得公用云计算系统中的数据（或者通过分布在不同管辖区域的计算机设备）将变得复杂，并且会造成调查取证的延迟，然而数据恢复过程中实时性是极其关键的。

三、云取证面临的挑战

在云计算的环境中，由于云技术的特点，数据分布在不同的地点，造成取证人员无法获取存储数据的具体设备，因此按照传统的取证方法难以进行取证，这就给确认数据造成麻烦。

数据的大量增加造成取证人员不能依赖于把存储介质找到，有的时候即使找到了，数据可能只是其中的一部分，所以云取证一般是在线的、实时的取证。随着目前电子产品的大量使用，手机、平板等电子设备已经成为我们生活的必需品，而这些产品的大量使用也生成了大量的、不同格式的数据，这些数据也给取证增加了难度。

在传统取证中，取证人员主要是对设备进行分析，利用专门的取证工具恢复已经删除的数据，从中找到线索。在云计算中，数据所有者对云中的数据有删除的权利，但是，数据一旦被所有者删除，新的数据也许会覆盖原有磁盘空间，造成原有数据无法恢复。

许多公司、机构和个人使用云存储他们的数据，大量的犯罪活动存在于存储里，同时大量终端的使用造成数据的获取和证据的收集变得越来越困难，因为这些终端连接至云服务器，取证人员对服务器取证会变得非常麻烦。现在，数据的大小也是急剧膨胀，即使通过专门的工具也得耗费大量的时间。

另外，建立犯罪事件的时间轴也会碰到很多问题。在云计算中，数据来源于不同地点的服务器。每个服务器的时间设置是否一致，服务器事件的存取时间是否同步，这些问题都需要考虑。

四、云取证模型

本文主要利用云计算关键技术中的虚拟化技术和协作技术构建了云取证模型。将基础设施层的各主机、分布式存储、网络等通过虚拟化技术，在服务器集群中生成多个虚拟机，这样可以大大降低服务器的购置成本和运维成本；且在数据采集及日志分析过程中，使各主机与服务器集群协同工作，以最小代价及较高效率来完成取证工作。

云取证模型各层功能描述如下：

（1）物理资源层：主要把云计算物理资源的整体架构归为一层，其中基础设施层主要包括了虚拟化的云中主机、分布式存储、网络、关系数据库等资源，中间层在基础设施层提供资源基础上提供多租户、并行处理、分布式缓存等服务，并通过显示层以友好的方式展现用户所需的内容。

（2）证据资源池：此层作为取证证据的重要来源，通过云中基础设施层各数据采集Agent自主、智能地获取需要的日类、策略更改类、网络类、攻击类等，形成证据资源池，作为上层进行证据分析的主要来源。

（3）虚拟层：将证据分析的过程形成虚拟层，首先需要对日志格式进行标准化，并通过日志查询或挖掘对日志进行处理，利用静态取证及动态取证技术来实现电子证据的获得。

（4）协同层：此层的核心是协同Agent，它的主要作用是使服务器集群和各Agent协同工作，实现它们之间的相互通信和同步交互。

（5）管理中间件：主要包括了用户管理、取证管理、安全管理。其中，安全管理主要是保证取证过程中系统安全性及获得的证据通过数字签名、时间戳等来保证其完整性。

（6）取证服务层：此层主要用来提供取证服务。

首先通过云中各数据采集Agent，对发现的问题进行日志采集，并进行日志格式统一化后存入日志库中，通过云中各主机与服务器集群之间的协作，来进行挖掘及证据分析，主要包括了通过关联规则挖掘，将日志中的大量按特定规律分布的关联规则挖掘出来；通过序列模式挖掘，找到入侵行为的时间序列、事件序列特征；通过孤立点分析，分析数据中的异常数据，找出异常数据模式，获取有效证据信息。

云计算与分布式技术篇10

关键词：云计算环境；分布存储关键技术；容错技术

中图分类号：TP274 文献标志码：A 文章编号：2095-2945（2017）19-0043-02

1 分布存储关键技术在云计算环境下的产生背景

在网络信息时代，互联网技术、信息化技术以及智能化技术已经成为了时展的三大技术，随着网络化的不断普及与信息化程度的不断加深，各类信息数据不断涌现，传统的存储技术显然已经无法适应当今社会的发展，以及信息数据不断增加的速度。为此，云计算技术便就此应运而生，通过利用计算机技术所创造出的环境，对现代化社会发展过程中存在的各类信息进行有效整理，在满足社会大众需求的基础上，增加了相关数据信息的层次感。

从云计算的本质上来说，其属于一种以网络化为基础的计算方式，能够实现基础信息资源的优化配置，减少了服务商与客户在交流过程中存在的问题与麻烦，从而完成相应的任务。从云计算系统构建的情况来看，网络节点在其中起到了十分关键的作用，是大部分数据中心相互连接的纽带，从而有效形成了一种大型的网络数据库，从而满足不同用户对不同信息数据的要求与服务。

云计算在使用的过程中，具有规模大、价格高、种类多等特点，是一种新型的计算模式，云计算的使用，不仅实现了不同领域间的数据信息共享，还提高了数据的转移效率。而软件技术与硬件技术的使用，通过自身不同作用的发挥，逐渐在云计算环境下占据了十分重要的地位，为进一步开发和共享相关资源信息提供了有利的保障。

2 分布储存技术在云计算环境下的基本构成

2.1 服务器

服务器的出现于使用，是现代互联网技术不断发展的结果，也是现代网络技术突破传统服务模式的重要体现。在云计算环境下，为网络的接入提供了必要的保障。服务器结构存在的目的在于实现互联网环境下的数据转发，实现计算机单体设备与互联网平台之间的相互连接，不仅内部结构简单，而且操作极为简便。然而，服务器结构在使用的过程中，也存在着一定的问题。其中，数据储存空间狭小，在数据储存连接服务当中，极易产生大量的冗余，从而造成数据储存过程中，出现较为严重的遗漏现象。

2.2 交换机

交换机设备的使用在云计算技术出现以前，在云计算技术体系中主要起到了数据中心的作用，是实现网络服务商与用户之间形成数据交换的纽带。不仅是在数据信息的交换方面，在数据信息的处理及储存方面，交换机也具有十分明显的优势。在实际的使用过程中，交换机可以通过与计算机服务器设备间的物理连接，实现各项信息数据在互联网中的传递与发送，其内部结构主要包括以下三个部分：第一部分，是数据与信息相互交换的边缘层；第二部分，是能够实现数据与信息储存的聚合层；第三部分，则是交换机的核心层次。

2.3 服务器与交换机相结合

无论是服务器还是交换机，在单独使用的过程中，都无法将其功能最大程度的发挥。二者的相互结合，不仅是技术上的相互融合，也使二者之间形成了有效互补，扩大了自身的优势，弥补了自身存在的不足，从而有效提升了云计算环境下数据信息的储存能力与交换效率。

3 储存技术在使用中存在的问题

从储存技术的实际使用情况来看，云计算环境下的储存技术还存在着一定的问题，若不能采取有效的方法解决其中存在的问题，必将会导致该项技术在今后的使用过程中受到阻碍，确保其使用后的实际效果。

3.1 容错性问题

在计算机运行过程中，容错性问题既是其常见的问题之一，也是计算机系统中急需解决的问题。从实际的来看，计算机容错率的问题始终难以解决，原因便在于相关的科学技术水平较低所导致的。例如：RAID技术、高性能与专业服务器设备的使用等方面。然而，在云计算的大环境下，计算机系统中的各个节点都在不断增加，从而导致许多原有信息的连接出现了失败。在实际的使用过程中，一旦容错性问题得不到有效解决，势必会对相关企业单位或个人造成严重的经济损失。

3.2 拓展性问题

从计算机运行的角度上来看，解决其拓展性问题的最佳办法就是增加预留磁盘的存储空间。然而，在云计算环境下，计算机在运行过程中会产生大量的数据，完全依靠预留磁盘储存空间的扩展已经无法满足实际需求。近年来，虽然我国在计算机技术的研发领域已经取得了较大的突破，但是，在解决其拓展性问题的方面，始终无法找到有效的解决办法。采用冗余磁盘预留的方式，虽然也能够在一定程度上解决数据储存空间不足的问题，然而，在面对大规模的数据储存问题时，依旧无法彻底将其解决。

3.3 成本控制问题

通常情况下，分布储存结构只能实现小规模信息数据的储存于计算，并且在使用的过程中，会造成大量的能源损耗。然而，在网络信息技术为主体的现代化进程中，网络信息技术不断发展与充实，数据信息的规模也在不断增加，传统的数据储存结构显然已经不适用，务必需求技术方面的改进与突破，从而解决分布存储结构在使用过程中，信息处理能力差，储存空间小，消耗成本高等一系列问题。

4 云计算环境下优化存储技术的措施与方法

从云计算环境下，存储技术在实际应用中存在的问题来看，需要利用分布存储关键技术的优势，对存储技术的主体进行优化，从而有效地解决云计算环境下存储技术中存在的问题，促进相关领域技术的不断发展。

4.1 容错性问题的解决方法与技术手段

在容错性问题解决的过程中，主要是针对计算机网络运行过程中存在的数据激活错误，以及用户在数据储存与处理的过程中存在的难题。因此，可以通过优化容错性技术的方法，来对其进行解决。随着我国信息技术的不断发展，在云计算环境下，容错问题可以通过解决存储方面的问题使其得到有效解决。容错性技术的存在于优化，不仅使计算机系统运行的稳定性得到了有效保障，还能使系统内数据的应用性能得到有效提升。从内容方面来看，容错性技术是一项十分复杂的技术手段，主要包括了两项重点内容，分别是：复制容错技术与纠删码容错技术。

所谓的复制容错技术，是针对单个用户系统所开发出的一种容错技术。通过在独立的用户系统中创造多种相同数据模块与节点的方式，来防止系统中的数据信息出现问题，在实际的使用过程中，效果较好。而纠删码容错技术，则是针对多个不同用户所开发出来的容错技术。其目的在于实现多个不同用户之间的数据信息储存与处理，然后利用数据编码生成全新的数据对象，从而有效地降低数据储存过程中产生的数据规模，最终达到减少数据信息处理过程中出错几率的目的。

容错性技术在使用的过程中，最大的好处在于其能够确保系统在遇到数据错误时，依然能够保持稳定有序的工作，并在继续工作的过程中，逐渐对出现错误的数据进行修复，并对存储系统中的一些冗余信息进行自动化清除，突破了现有数据处理技术的局限性。

4.2 软件节能技术的使用

使用软件节能技术的目的，是在确保数据服务系统正常运行的情况下，将信息数据储存设备所消耗的能源降至最低。软件节能技术的关键是对于节点的控制，以及对数据管理层面实施相关的管理控制操作行为，并通过这些管理控制行为，从而使整体技术设备体系实现节能的发展目标。

4.3 硬件节能技术的使用

与软件节能技术不同，硬件节能技术使用的过程中，主要是针对网络信息数据服务系统的设备建设层次，并对其展开具体的层次分析。为了使硬件节能技术在使用的过程中具有层次性，可以按照建设层次将其分解成两种基本的技术类型，一种是数据中心技术，另一种则是计算机整体技术。所谓的数据中心技术，就是在实际的运用当中，使用节能高效的设备来替换高能耗的设备。而计算机整体技术，则是通过使用新型的技术结构，来降低设备体系总体能耗的水平。

分布存储关键技术节能效果的实现，有效地提高了云计算环境下相关硬件与软件的技术形态，使其应用范围更加广泛，适用性与实用性也越碓角俊4由缁岱⒄沟慕嵌壬侠纯矗节能效果的实现，有助于现代社会环境保护事业的发展。

5 结束语

综合上文所述，在当今社会的发展过程中，云计算的应用范围十分广泛。因此，相关工作人员在使用云计算的过程中，务必要根据分布存储技术自身的特点，来解决其使用过程中存在的问题与缺陷。充分利用分布存储关键技术的优势，优化数据储存方式，扩展数据信息的储存空间，确保系统设备始终保持安全、稳定的运行。

参考文献：

[1]王思宁，石亚平.基于云计算的智能电网信息平台的研究[J].科技创新与应用，2016（11）：78-78.

[2]许晓娟，顾莹莹，许玲俐.云计算环境下分布式服务器容错技术研究[J].科技创新与应用，2015（06）：54-54.