数据仓库中的证券行业论文

1建设目标

1.1建设公司级数据仓库

将数据逻辑模型固化，形成存储结构合理、层次明确的数据仓库层级。对各类数据进行统一采集、存储、清理、转换、汇总，形成公司统一数据字典以及统一数据口径。涵盖结构化数据以及非结构化数据的整合。

1.2构建公司级数据仓库模型

以金融行业为蓝本，兼顾证券行业特点，具有稳定性、可扩展性、灵活性以及前瞻性。数据仓库模型具有清晰的主题结构，主题域涵盖证券公司各项业务，能够支撑运营管理、风险管理、财务管理、客户管理、咨询服务等，囊括证券公司现有以及目前可预见的全部业务。

1.3形成统一的数据调度、监控平台

主要实现EE作业、SE作业、命令行程序、PL/SQL程序等作业的定义、调度管理和运维监控。利用可视化的作业流程集成管理，实例化各种作业组件并通过拖拽方式设计业务处理的各个环节和触发机制。通过统一的监控平台，可以监测整个数据仓库的各程序运行情况、系统CUP和磁盘等资源占用情况以及数据库表使用情况等。

1.4建立统一的数据管控平台

实现在数据ETL过程中的元数据管理、数据标准管理和数据质量管理。元数据管理通过对相关的技术、业务元数据进行统一的归集，实现数据间的血缘分析和影响分析；数据标准管理主要实现数据层面的代码数据标准化和业务层面的作业标准化；数据质量管理主要涵盖数据质量检查定义、数据质量检查、数据质量检查分析、数据治理问题管理和数据质量知识管理。

1.5打造规范的数据服务平台

在数据仓库模型层统一、规范的数据基础上，按照业务的特性整理出通用的指标数据，为业务管理系统提供数据服务。

2建设规划

数据仓库数据处理的流程主要包括：通过数据采集，将各基础业务系统数据集中、非结构化数据，同步到贴源数据层；再经过清洗、变换、转换、标准化，依据企业的统一标准和规则对来自企业内外分散在不同系统的数据进行消除非一致性的集成和标准化的处理，数据按照一定的主题域进行组织存储在核心层；通用指标汇总层按照业务数据的通用性汇总形成各种通用数据指标；业务指标层则根据各业务部门的不同需求对通用指标再加工，形成业务指标层；第三方应用集市根据应用要求，对数据进行预处理，并最终为应用层提供数据服务。源数据层：源数据层是数据仓库的数据来源，包含各种交易类和管理类的业务数据以及大量的非结构化数据。数据存储层：包括缓冲层、贴源数据层、规范存储层、汇总层和第三方应用集市层。缓冲层：即源数据中间层，用于存放部分基础业务系统的数据文件并可作为基础数据源对外提供数据直传服务；贴源数据层：用于存放从源数据中间层经过基本清洗转换后的数据，贴源数据层的数据模型与业务系统基本保持一致；核心层：从贴源数据层经过清洗、转换和整合后可靠的、一致的、规范的数据，按金融数据模型对贴源数据层的数据进行标准化的统一，解决信息孤岛通用指标层：按照业务的特性整理出通用的指标数据；业务指标层：按照各业务条线对指标的特殊要求，形成业务指标层直接供业务部门使用；第三方应用集市层：数据集市层是以具体应用为主题，所存储的数据都是根据具体应用进行运行和汇总的各类指标数据。数据调度平台：包括数据采集、清洗、转换以及数据转换的调度管理。数据服务平台：为业务管理系统提供数据服务，包括数据直传、数据推送、API接口、WebService接口等。数据管控平台：包括数据质量与标准、元数据管理、数据脱敏管理。通过统一的管控平台，可以监测整个数据仓库的各程序运行情况、系统cpu和磁盘等资源占用情况、数据库表使用情况等；可以了解数据源采集、数据入库、数据转换、关键后续任务运行等数据处理状态；并可以通过信号灯、声音、邮件或短信等形式报告系统的运行情况和数据的处理状态；为数据仓库的运行维护保驾护航。应用层：包括中间服务层和访问控制层。中间服务层主要是生成数据集、各种报表和数据分析，并提供各种查询和分析功能；门户作为访问控制层实现统一的用户管理、权限管理和安全认证访问体系。展现层：根据对数据仓库的需求，来进行报表界面的开发。一般可分为普通用户、技术用户和高级用户三类，普通用户主要访问一些静态的报表，技术用户主要是通过展现工具生成一些动态报表，满足业务的急迫需要。高级用户是关注决策有关的一些关键指标和报表。

3结论

本文针对目前数据在证券公司的业务可持续发展中起到越来越重要的地位的战略思想，通过分析数据仓库的建设规划来阐述如何更好的帮助证券公司建设统一的数据仓库平台。为未来各种新兴业务的开展、客户的挖掘、企业决策等提供了一套思路，从而达到公司的良好健康的可持续发展。

作者：郑建勇单位：同济大学软件学院胜科金仕达数据系统中国有限公司