元数据管理解决方案-2018.3.27 下载本文

内容发布更新时间 : 2024/12/24 11:01:41星期一 下面是文章的全部内容请认真阅读。

元数据解决方案

随着报价系统每年收集和使用的数据飞速增长,数据体量日趋增长,数据形态多样化且不统一,多种数据源之间的采集、传播和共享遇到困难。元数据管理作为大数据治理的核心,是有效管理这些数据的基础和前提,在信息化建设中发挥着重要的作用。如何理解、管理并发挥出元数据的价值,成为迫切的任务。

一、什么是元数据

元数据(Metadata)是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metadata)。 1. 技术元数据

技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据,它主要包括以下信息:

1) 数据仓库结构的描述,包括仓库模式、视图、维、层次结构和导出数据

的定义,以及数据集市的位置和内容。

2) 业务系统、数据仓库和数据集市的体系结构和模式。

3) 汇总用的算法,包括度量和维定义算法,数据粒度、主题领域、聚集、

汇总、预定义的查询与报告。

4) 由操作环境到数据仓库环境的映射,包括源数据和它们的内容、数据分

割、数据提取、清理、转换规则和数据刷新规则、安全(用户授权和存取控制)。

2. 业务元数据

业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息:

1) 使用者的业务术语所表达的数据模型、对象名和属性名。 2) 访问数据的原则和数据的来源。

3) 系统所提供的分析方法以及公式和报表的信息。

4) 企业概念模型、多维数据模型,业务概念模型与物理数据的依赖,

二、元数据的作用

元数据可以实现业务模型与数据模型的映射,帮助用户理解数据仓库中的数据;元数据清晰的描述了数据的来龙去脉,描述了数据抽取转换规则,是保证数据质量的关键;元数据管理系统可以把整个业务的工作流、数据流和信息流有效的管理,可以支持需求变化,从而提高系统的可扩展性;打通数据孤岛,统一数据定义,形成企业级知识传承平台,元数据管理使得数据变的更有价值。

三、元数据管理

在大数据时代的背景下,数据即资产,元数据实现了信息的描述和分类的格式化,从而为机器处理创造了可能,它能帮助企业更好地对数据资产进行管理,理清数据之间的关系。元数据管理是企业提升数据质量的基础,也是企业数据治理中的关键环节。元数据管理不当,信息很容易被丢失,进而不能对业务进行有效支撑,企业内部业务人员要识别相关信息就会变得十分困难,最终用户也将失去对数据的信任。

1. 元数据采集

技术元数据的采集,根据现有元数据设计出元模型,然后将数据仓库系统之中的元数据按元模型集中汇总并关联到一起,达到企业对数据统一管理与应用的目的,ETL等产生的元数据,对于元数据管理工具支持的格式可直接进行导入,对于一些自定义的规则,需要进行格式转换并导入。

业务元数据相对复杂,来源较广泛且不统一,需要对业务系统进行深入理解,按业务主题进行整理,梳理出业务范围、业务名称、业务定义、业务描述、业务关系等,并添加到元数据管理系统中。主要从以下几方面来进行梳理:

1) 业务平台中的各业务流程。

2) 交易、结算系统,提取出各种财务公式、过程逻辑、业务规则等。 3) 报表系统,比如表头,包含合计、平均数等聚合函数的列,一些计算公

式等。

4) 表格,在Excel中进行业务计算的公式,列的描述、代码描述等。 5) 文件数据中的标题、作者、时间、内容主题等。

2. 存储管理

对元数据存储需要使用专门的工具,拟定为(还需要做充分调研)Pentaho Metadata进行存储管理。通过工具与数据库系统的对接,将元数据导致进去,对于不支持系统对接的元数据,可手动进行添加。通过管理工具提供的辅助功能可对元数据进行标注、完善等。

四、元数据应用

通过元数据管理工具将元数据服务提供给所有业务人员,使业务人员也能够快速的从业务角度理解数据,从而帮助业务人员更好的利用数据。以下用三个方面来阐述元数据的实际应用价值:

1. 元数据对比分析

业务系统由开发环境到测试环境再到生产环境,在系统的设计、开发、测试、上线过程中,无论需求变更还是Bug都会导致元数据的改动。大到库表结构重新设计,小到字段类型的变更,都可能导致系统出现重大问题。为了避免这种问题的发生,我们可以使用元数据系统的对比分析功能,元数据系统可以自动采集三个环境的库、表、字段、视图、存储过程等结构,自动化采集保证了各自环境