银行数据构建云建设实践思索

时间:2022-05-22 04:13:00

银行数据构建云建设实践思索

随着数据大集中工程的实施,目前国内外大型金融企业基本都建成了较大规模的数据中心。伴随业务规模不断发展,数据中心的IT规模也越来越大,超过千台服务器的数据中心并不鲜见。如何有效维护管理如此大规模的数据中心,已成为数据中心运行维护面临的严峻挑战,特别是数据中心的研发测试环境,对“随需应变”提出了更高要求。云计算作为一种新型的计算资源组织、分配和使用模式,有利于合理配置计算资源并提高利用率,降低成本,在目前金融危机、节能降耗的大背景显得尤为重要。本文将结合工商银行在基础架构云研发方面的实践,就金融企业数据中心如何运用云计算这一新型服务模式来优化提升数据中心IT基础架构的运行维护进行探讨。

一、数据中心运行维护面临的挑战

当前金融行业应用系统多采用集中方式部署于数据中心,随着金融业务的快速发展,后台支持所需的基础设施规模不断增长,拥有几百到几千台服务器的数据中心已不是少数。数据中心的日常运行维护工作逐渐暴露出以下几方面的挑战。

(1)随着服务器等基础设施的规模越来越大,机房空间、电力消耗以及管理维护难度越来越大。

(2)传统的、手工方式的环境部署效率较低,难以满足业务服务对环境部署的时效性要求。特别是对于研发测试环境,由于环境搭建及调整一般更为频繁,此方面矛盾也更加突出。

(3)应用系统在业务高峰期或性能压力测试阶段,需要更多的系统资源支持,期望基础架构能够提供弹性的、动态的、自动化的供应手段。

(4)在传统服务器环境中,单台服务器业务空闲时段的资源难以整合,总体资源利用率提升受到限制。以中国工商银行数据中心(北京)为例,用于全行应用系统版本测试的适应性测试环境的服务器数量已超过1000台,每个季度约有30%的环境需要重新搭建,基础架构的日常管理维护压力逐年增加。

二、云计算理念与启示

根据云计算的服务对象范围,云计算可以分为3种部署模式:公用云、私有云和混合云。根据云计算的服务层次和服务类型,可将云分为3个层次:基础架构即服务(IaaS)、平台即服务(PaSS)和软件即服务(SaaS)。不同的层,提供不同的云服务。根据美国国家标准技术研究所(NIST)的定义,云计算一般具有5个基本特征。

(1)按需自助服务。用户可根据需要,直接从云计算供应者处获取服务(如:计算资源、存储资源、网络资源、开发平台及应用软件等),而无需与云计算供应者进行人工交互。目前,一般采用用户在网页上填写申请表单形式获取自助服务。如果数据中心采用此方式供应环境,将可由最终用户直接提交环境部署服务申请,由系统自动调配资源并部署环境,且节省了相关部门间(系统、网络、设备等)的沟通成本,环境部署时效性较传统手工方式有很大提高。

(2)广泛的网络接入。用户可以使用各类客户端平台(笔记本电脑、手机、PDA等),按照一个规范机制(如浏览器),通过各种网络渠道从云计算供应者处获取服务。此特征更多的针对公有云和混合云,而出于安全性等方面考虑,如在金融行业数据中心构建云计算环境,一般首选私有云方式,只需保证用户可以通过网络接入云计算系统即可。

(3)与位置无关的资源池化。云计算供应者的计算资源被集中整合成为一个动态资源池,以多租户模式服务所有用户,不同的物理和虚拟资源可根据用户需求动态分配。服务商需要实现所分配资源的位置无关性,用户一般不需要知道所使用资源的确切位置,但在需要的时候用户可以指定资源位置。通过应用资源池化的管理模式,提升数据中心整体资源使用率。

(4)快速的可伸缩性。云计算供应者提供的服务可以自动、快速、弹性地扩展,也可以自动、快速、弹性地收缩。从用户角度讲,云计算提供的资源是无限的,可以选择在任何时间获取任何数量的资源。通过快速的可伸缩性,在很大程度上提升资源使用效率。另外,如果数据中心系统环境支持快速伸缩,就可满足应用系统在业务高峰期或性能压力测试阶段,其基础架构能够提供弹性的、动态的、自动化的资源供应。

(5)可度量的服务。云计算供应者针对不同的服务类型(CPU时间、存储空间、网络带宽等)来计量资源的使用情况及单位价格,以提高资源的管控能力和促进优化利用。整个系统资源可以通过监控和报表的方式对供应者和用户透明化。对于公有云,资源供应者可以此为依据对提供的服务进行收费。对于私有云(企业云),IT部门可以此作为IT成本核算依据,一旦在企业内部形成相关成本核算机制,还有利于促进资源回收利用,减少空闲资源。笔者认为,短期内将云计算应用于银行数据中心生产环境还需持谨慎态度,但在数据中心研发测试环境环境中,云计算大有可为。特别是开展基础架构云建设,将有助于解决前文提到的基础架构日常运行维护中遇到的各类挑战,实现业务应用环境快速部署、回收、调整以及资源集约化管理水平和快速服务能力。

三、基础架构云建设的关键课题结合我们的实践探索,在银行数据中心建设基础架构云,有如下几项课题需要加以研究解决。

(1)各类资源的池化与差异化资源服务模型。在数据中心,基础架构资源主要包括各类高、中、低端服务器、存储阵列、磁带库以及IP地址等。为实现基础架构云快速供应和弹性服务,实现上述资源的池化管理和统一管理调度机制十分必要。在此基础上,可以通过规划不同资源节点(比如数据库服务器、应用服务器、WEB服务器等)和业务服务环境(比如综合版本测试环境、生产补丁测试环境、压力测试环境和培训环境等)对应的资源使用规则,提供差异化的资源服务。一种可参考的资源服务模型如图1所示。

(2)自服务界面和自动化供应流程。要实现基础架构环境的自动化部署,需要自动化供应流程的支持。与此同时,面向最终用户提供自服务界面也是云计算这一新型计算模式的基本要求。图2是启动一次虚拟机环境供应的自动化流程。当用户在操作界面上启动虚拟机供应任务后,调用后台任务管理器,将任务放入系统的任务运行队列。流程引擎层扫描任务运行队列中的待执行任务,根据任务类型及优先级等,选取待运行任务并调度执行,由调度引擎层调用驱动工具层依次完成虚拟机创建、操作系统部署和数据库部署等一系列操作。待以上步骤执行完成后,返回作业执行结果。在基础架构云建设时,还要充分考虑多用户并发服务处理能力。

(3)各类基础架构资源的“驱动程序”。正如前文所述,基础架构云平台管理的对象主要包括各类服务器、存储阵列和IP资源等。在数据中心传统工作模式下,上述对象往往需要专业技术人员通过手工方式或者使用专门的工具软件进行管理维护,各专业之间的协作配合要求较高,因此维护效率难以得到有效提升。在基础架构云平台建设中,需要实现对上述对象的全自动化维护操作。如果把基础架构云平台看作一套“操作系统”,其下各类资源对象的自动化维护管理功能,不妨看作是操作系统的各类驱动程序。因此要实现云平台的自动化管理,各类基础架构资源的自动化驱动工具研发也是必需解决的关键课题。

四、基础架构云建设实践

2010年以来,笔者所在的技术团队就基础架构云在数据中心的落地建设进行了探索,经过1年多的技术研究和项目实践,目前已取得阶段性成果。项目组研发的基础架构云平台已在业务应用系统环境准备工作中投入实际使用。与传统手工方式相比,使用基础架构云平台进行系统环境部署,效率可以提10倍以上,具体对比数据见表1。表1中数据为每套环境的部署时间,与PowerVM环境相比,VMware环境一般不涉及分配磁盘操作。

五、小结

基础架构云建设是一项综合性较强的工作,需要基础架构各专业密切配合。在基础架构云的建设过程中,可进一步推动服务器虚拟化技术的实施与推广,从而提升资源利用率,节省机房空间和电力资源。在此基础上,通过自服务界面和自动化部署流程,大幅度提升基础架构部署效率和应对快速变化的能力,与此同时,可配合完成资源申请与实施流程的调整,最终推动数据中心基础架构环境工作方式的转变,提升基础架构维护效率和快速供应能力。当然,由于不同企业的基础架构环境差异和业务服务特点不同,基础架构云建设目标和实施路线可能也会有所差异。