内容发布更新时间 : 2024/11/5 23:32:41星期一 下面是文章的全部内容请认真阅读。
等，同时要求对并发作业、高负载作业有良好的管理。
CTG-MBOSS 规范
对于基于ODS的某些特定应用，如数据质量检查和稽核，应该考虑采用统一的作业控制工具进行作业调度和管理。
[功能要求]
1. 提供图形化可操作任务调度与管理配置界面；
2. 支持任务属性配置，可以对各项任务的属性进行配置，并保存在后台配置文件
中，以备任务调度按序执行；
3. 支持总任务的调度，使其按照设置条件自动按序执行任务；
4. 支持分任务的调度，可按照任务类型、时间、区域等按照各自设置好的条件进行
任务的调度；
5. 支持任务的回退，需要对某几项任务进行重新调度时，可以将任务回退到需要重
新调度的周期。
3.2.2 数据更新配置
需要整合的源系统比较多，其中系统架构、数据提供能力、以及提供的源数据使用要求各有不同，因此在数据更新功能方面需要提供灵活的配置能力，提高数据整合的效率和便利。
3.2.2.1 更新规则配置
提供多种数据更新规则，根据规则特点和业务需要，进行更新规则的配置。 [功能要求]
1. 提供图形化的操作配置界面；
2. 支持按照源数据的生产特性进行有针对性地规则配置。
版权所有，注意保密
11
E-O：技术规范
3.2.2.2 更新方式配置
CTG-MBOSS 规范
提供多种数据更新实现方式，并且针对不同的数据源系统和不同的数据需要，进行更新方式的配置。
[功能要求]
1. 提供图形化的操作配置界面； 2. 支持直接追加方式； 3. 支持全部覆盖方式； 4. 支持更新追加方式。 3.2.2.3 更新频度配置
在确定更新方式之后，同样需要提供更新方式的频度配置能力，需要从数据源系统的生产压力、系统架构等方面来考虑频度。
[功能要求]
1. 提供图形化的操作配置界面；
2. 提供不同级别的数据更新频度，如秒级、分钟级、小时级、天或更长时间（包括
周和月）。
3.3 数据质量管理域
数据质量管理域的功能是为了解决目前普遍的数据质量顽疾，通过建立数据质量管理组织机构，制定质量管理规范，确定相应的工作流程方法，并在系统中实现质量检查、修正、考核功能，形成数据质量修正闭环的机制，确保数据质量问题由发散状态转为收敛状态，并随着时间的积累逐步逼近真实状态。数据质量问题不可能在一夜之间解决，突击检查只能短期内改善数据质量，彻底的解决方式是将其作为一项日常的工作由固定的组织机构来执行。
版权所有，注意保密
12
E-O：技术规范
3.3.1 数据质量检查
CTG-MBOSS 规范
数据质量检查是对数据本身执行合法性等方面检查的过程，主要通过设置业务逻辑规则来实现对数据属性、数据属性关系、数据表关系的检查。 3.3.1.1 单系统数据质量检查
ODS和各个业务源系统形成闭环的数据管理流程，保障源系统数据质量的改进，ODS需要提供对各源系统数据进行数据质量检查功能，例如：对客户名称进行检查、帐户名称检查、用户名称检查、客户地址检查、身份证号码检查等等。
[功能要求]
1. 支持对质量检查的规则进行配置，支持按照不同源业务系统进行配置； 2. 提供按照数据质量规则进行数据检查功能； 3. 提供数据检查结果展示功能； 4. 提供数据检查结果分析统计功能。 3.3.1.2 跨系统数据质量检查
ODS在整合不同生产系统的数据的过程中，可对不同系统之间的相同属性数据进行一致性进行检查，实现跨系统数据质量检查：
[功能要求]
1. 提供对一致性的检查规则进行配置；
2. 提供按照数据一致性检查规则进行数据质量检查功能； 3. 提供数据检查结果展示功能；
4. 提供数据检查结果进行分析统计功能；
版权所有，注意保密
13
E-O：技术规范
3.3.1.3 数据质量预警告警
CTG-MBOSS 规范
当发现数据质量问题，需要及时地将质量问题形成报告，提供相应的预告警信息，便于针对这些预告警信息进行处理。 [功能要求]
1. 支持对一定时间段内的数据质量告警/预警信息进行列表显示； 2. 告警/预警信息应包括数据质量审核问题单相关信息；
3. 针对每条数据质量检查规则可以设置是否作为告警/预警信息出现在告警/预警界
面。
3.3.1.4 数据质量评估分析
数据质量评估分析是指通过配置数据质量问题分析解决过程中的各项考核指标，对数据质量问题处理情况进行分析，使管理层能以直观（报表查询界面）的方式了解通过ODS系统发现的数据质量问题的解决情况并对质量问题的各个岗位进行考核。 [功能要求]
1. 支持总量评估功能，以报告模式对连续几个周期（或某个固定周期）的需要评估
总量的数据质量检查/稽核报告（可配置），统计各类错误数，从总体上对数据质量的收敛度进行评估；
2. 支持源系统数据质量问题评估功能，以报告模式提供按源系统汇总连续几个周期
（或某个固定周期）的各数据质量问题报告，统计各类错误，对各源系统的质量的收敛度进行评估；
3. 支持专项数据质量问题评估功能，根据连续几个周期（或某个固定周期）的质量
问题报告，以报告模式对重点关注的质量专题，制定专题规则进行分析并对结果予以评估。
版权所有，注意保密
14
E-O：技术规范
3.3.1.5 业务规则检查
CTG-MBOSS 规范
源系统数据质量表现出来的问题，可能是业务规则设置、业务理解或实现的问题，那么对这些问题的修正，需要源系统修改业务处理规则。系统通过提供业务规则检查功能，发现数据质量问题，对该问题进行解决。
[功能要求]
1. 支持业务规则设定，能够随着业务的发展进行扩展； 2. 支持按照业务规则对数据进行检查，并能够生成检查报告； 3.3.1.6 数据阀值监控
数据阀值监控是指数据在ETL处理过程中，对于抽取、转换、加载、汇总等环节提供阀值监控功能；提供环节和数据处理方式的不同设定阀值功能，同时根据设定阀值进行监控，并显示监控信息。
[功能要求]
1. 支持数据阀值的设定，阀值的触发点可以设置到不同的环节，或者不同的数据处
理方式；
2. 支持阀值触发点的扩充，以适应监控的需求扩展； 3. 支持阀值的动态监控，能够实时地显示监控报告。 3.3.2 数据质量执行 3.3.2.1 规则调度策略
规则通过规则调度引擎来调度执行，调度引擎可以是ETL工具，也可以是工作流产品或者单独开发的程序，根据规则特点和业务需要，配置对规则的调度策略。规则调度策略：事件策略、时间策略、频度策略、控制顺序策略等。
[功能要求]
1. 支持事件策略：只有当某事件发生时才会调度执行某规则。比如ETL过程对文件
版权所有，注意保密
15
E-O：技术规范