CTG-MBOSS EDA-ODS:技术规范V1.0 下载本文

内容发布更新时间 : 2024/5/5 20:16:04星期一 下面是文章的全部内容请认真阅读。

CTG-MBOSS 规范

3. 监控管理工具应该支持操作员主动地获取各监控对象的状态;

4. 监控管理工具应该支持设定各监控对象的阈值,一旦发现对象状态超出阈值范

围,则产生告警信息、并主动告警;

5. 监控管理工具产生的告警信息,应该至少包括以下属性:

? ? ? ? ?

告警级别:告警信息的错误级别 告警者:创建告警信息的部件或模块 问题者: 发生异常的部件或模块 告警代码:告警的代号 附加信息:具体的错误信息

6. 告警信息应该支持以下5个告警级别:

? ?

系统崩溃 :系统崩溃无法正常运行。

系统错误:系统的组成构件发生异常,但通过负载均衡、FailOver等自动化措施,只对系统性能产生影响、一段时间内不影响系统功能。 ?

警告:系统正常运行、但关键状态存在风险,有可能发展成为系统异常或崩溃。 ? ?

业务错误:系统正常运行,但某个业务处理事件失败。 提示信息:系统运行信息。

7. 监控管理工具必须支持声音、图像、短信、Email等不同的告警方式; 8. 监控管理工具应该支持对不同级别的告警灵活定制相应的告警方式; 9. 监控管理工具必须支持对同类告警信息的合并以及告警频率的定制; 10. 监控管理工具应该支持对告警信息的状态维护,告警信息的状态包括;

? ? ?

已告警 处理中 处理完毕

11. 对于处于处理中的告警信息,监控管理工具应该支持输入该告警信息的告警原因

及错误处理方法;

版权所有,注意保密

31

E-O:技术规范

CTG-MBOSS 规范

12. 监控管理工具应该支持方便地根据告警代码及关键字等信息搜索已有的告警信息

及相关的错误处理方法;

13. 监控管理工具应该支持统计处于不同状态的告警信息。对监控信息应提供存储,

并能够进行统计分析,可以自动根据历史数据建议相关告警阀值与解决建议; 14. 监控管理工具应该支持俘获异常处理服务发出的告警信息,并根据制定的规则报

警;

15. 监控管理工具支持根据告警信息的属性的组合查询历史告警信息;

16. 监控管理工具必须支持定时地检查并以一定的告警方式汇报自身的工作状态。 3.6.3 元数据管理

元数据(Metadata)是关于数据的数据,是对数据的含义、功能、来源等进行描述,内容包括在ODS系统建设过程中所产生的有关数据源定义,目标定义,转换规则等相关的关键数据。在ODS系统中,元数据是描述ODS内数据的结构和建立方法的数据。

ODS元数据管理为用户正确理解和操作数据提供支撑,它贯穿ODS系统构建、运行和维护的整个生命周期。同时,在ODS构建的整个过程中,如数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等,均需要对相应的元数据的有力支撑。主要包括五方面功能:元数据获取、元数据存贮、元数据展现、元数据更新、元数据接口。

3.6.3.1 元数据获取

元数据获取过程是整个元数据管理系统中最重要的环节,它和元数据的质量关系密切 <功能要求>

1. 提供对于兼容和非兼容CWM标准的元数据载入功能; 2. 支持保持元数据之间的语义关系。

版权所有,注意保密

32

E-O:技术规范

3.6.3.2 元数据展现

CTG-MBOSS 规范

元数据管理工具以多角度、多层次、分门别类地组织和显示各种元数据,供ODS管理员和用户根据需要浏览或检索他所关心的元数据。

<功能要求>

1. 支持元数据库中主题元数据的浏览功能,按一定的层次结构显示元数据库中元数

据,能够查看元数据库中所有元数据内容;

2. 提供元数据检索功能或者相应的软件开发包,以满足元数据对象检索; 3. 提供元数据关联分析功能或者相应的软件开发包,实现系统能够确定某个实体的

用途和关联,图形化跟踪和分析任何实体的变化带来的全部影响。

3.6.3.3 元数据存贮

元数据存储设计实现将抽取出的元数据导入按照逻辑模型设计的元数据库中。在元数据提取的基础上,可以导出符合CWM模型的各源层的元数据,该元数据采用符合XMI规范的XML文件来进行存储表示。由于元数据是使用XMI规范来进行描述的,因此存储方可以根据XMI规范来理解该元数据,对其进行解析,解析后得到符合CWM标准的元数据模型。由于CWM模型是按照对象的方式进行存储和彼此之间关系表示的,而元数据库底层却是使用关系数据库的方来来进行存储的,因此就需要将对象模型及之间的逻辑关系转换为关系模型来进行存储。采用关系数据库方式进行存储,建立统一的元数据模型,用该模型定义和管理各种元数据,并将所有元数据集中存储在元数据库中,这样所有工具就直接访问元数据库。

<功能要求>

1. 提供对于兼容和非兼容CWM标准(OMG组织的公共仓库模型)的元数据载入功

能;

2. 支持保持元数据之间的语义关系。

版权所有,注意保密

33

E-O:技术规范

3.6.3.4 元数据更新

CTG-MBOSS 规范

管理员通过统一的元数据管理平台对元数据进行维护、调整。当元数据在项目的运营过程中发生变化(插入、删除、修改)时,元数据管理平台能够根据元数据本身的信息(最后修改时间、版本号)等,同步所有相关元数据,实现元数据的实时更新。项目的运作过程中也有很多情况,需要管理员人为的修改(插入、删除、修改)元数据库的内容。在这方面,元数据管理平台提供统一的界面,允许用户选择或查找要更新的元数据。元数据更新后,用户可以“预览”该对象的详细信息、关联性分析,以确定所做元数据更新是否合理。用户确认更新后,元数据管理平台以实时更新的方式,同步所有相关元数据。

<功能要求>

1. 支持元数据的实时/定期自动更新功能,当元数据在元数据源系统中发生变化

(插入、删除、修改)时,元数据管理工具能够实现元数据库中元数据的实时/定期自动更新;

2. 对于有些需要管理员人为修改(插入、删除、修改)的元数据库中的元数据,数

据质量管理系统应该提供易用的用户界面来方便管理员进行修改,用户可以预览与该元数据相关的元数据,由此确定元数据修改后产生的影响; 3. 具备支持元数据修改的回滚功能和元数据的版本管理的功能。 3.6.3.5 元数据接口

根据CWM标准规定,访问元数据库的接口有三种方式:CORBAIDL接口、JMI接口和XMI接口,前两者提供给访问者程序语言调用的接口,后者提供文件交互的接口。

<功能要求>

1. 支持自动实现方式,即由元数据管理平台接受CWM模型为输入,然后产生元数据

的关系存储模型,同时生成CORBAIDL接口/JMI接口,并同时生成CORBAIDL接口/JMI接口的实现代码;

2. 支持人工实现方式,即是元数据管理平台实现人员手工编码CORBAIDL接口/JMI

版权所有,注意保密

34

E-O:技术规范

接口中要求的每一个方法;

CTG-MBOSS 规范

3. 支持半自动实现方式,即是由元数据管理平台生成接口的部分实现代码(例如生

成一个代码框架),然后再手工完成接口实现代码的其它部分。

4 系统技术要求

4.1 数据整合

数据整合通过多种技术从源系统中抽取数据进行整合,根据不同的数据源,匹配预先定义的规则流程,在任务引擎的调度下,按照定义好的流程经过数据抽取、数据整理、数据转换、数据加载几个关键环节最终存储到ODS系统中。 4.1.1 技术要求

1. 数据抽取接口设计应充分考虑ODS系统接口的开放性、可扩展性; 2. 接口数据传输控制策略应可靠且完善; 3. 具有可靠的接口数据出错处理机制; 4. 支持不同的数据源系统平台。

5. 支持对多种不同系统平台和数据类型的源系统数据抽取与转换。包括各种关系型、层

次型、文件型数据库系统及各种文件格式等源数据; 6. 数据抽取尽量减少对源系统的性能影响; 7. 支持多种数据装载方式;

8. 数据抽取接口应支持实时、准实时数据抽取,例如接口表、FTP、中间件、WEB-SERVICE等;

9. ETL工具支持二次开发,并通过对内嵌脚本语言、存储过程、插件及外部程序来处理

复杂的处理,提供调试、跟踪功能;

10. ETL过程支持多个数据库连接,数据转换与加载处理过程应支持并行处理;

版权所有,注意保密

35

E-O:技术规范