内容发布更新时间 : 2024/11/5 21:40:45星期一 下面是文章的全部内容请认真阅读。
检查规则、记录检查规则的设定。
CTG-MBOSS 规范
2. 支持时间策略：某些规则执行耗时长，资源占用量大，可以考虑安排特殊事件予
以调度执行；
3. 支持频度策略：重要数据重要业务检查内容，可以安排频度较高的调用； 4. 支持控制顺序策略：某些规则之间具有调用的先后顺序，故需要预先设定。 3.3.2.2 规则执行日志
对规则执行结果必须通过日志、报告予以详尽记录。
规则执行日志是质量管理文档化的一部分，主要记录异常数据的状况，这些异常数据是质量分析的主要依据。
通过规则执行日志，可以把握数据质量宏观、微观、收敛性等各方面情况。比如宏观上，了解数据质量汇总后的状况；微观上，清楚每一个质量问题涉及的记录；质量收敛性方面，把握前后两次检查稽核中错误重复出现的记录数、新增错误数、已改正错误数，以及错误发展的趋势状况。
[功能要求]
1. 支持定义错误类型和错误代码：通过错误分类和错误代码，可以更好地描述和理
解错误；
2. 支持定义源表与目标表映射关系：定义源系统表与ODS系统目标表之间的映射关
系，便于跟踪错误；
3. 支持定义满足日志记录的错误表群：每个错误必须能记录到记录级，并且能详尽
记录稽核时间、批次等信息。如：执行批次表、错误汇总表、错误记录表、错误比对表等；
4. 支持记录每次规则执行的汇总信息，作为稽核报告的数据基础：规则执行结束
后，适时对执行结果进行汇总记录，并形成对应执行报告。规则的每次执行，都必须有详尽的记录，必须满足对执行结果的分析。
版权所有，注意保密
16
E-O：技术规范
3.3.2.3 异常通知机制
CTG-MBOSS 规范
异常通知机制是指对于数据在处理过程中，对于抽取、转换、加载、汇总等各个环节中产生的异常进行通知功能。
[功能要求]
1. 支持处理多种异常的触发方式，主要包括数据异常、操作异常等；
2. 支持多种异常通知方式：支持通过浏览器方式显示异常信息，支持通过邮件方式
发送异常信息，支持通过短信方式发送异常信息。
3.3.2.4 异常数据报告
异常数据报告是指对于数据在ETL处理过程中，对于抽取、整合、加载、汇总等各个环节中产生的异常数据提供分类统计功能。
[功能要求]
1. 支持按照产品、业务、时间等多个维度进行异常数据分类统计和分析； 2. 支持按照产品、业务、时间等多个维度进行异常数据分类展现功能。 3.3.2.5 质量管理流程
数据质量管理总体上来说，是遵循发现问题、分析问题、制定解决方案、解决问题的闭环循环过程。逐步地提高数据质量。 [功能要求]
1. 要求提供流程工具来支持质量管理流程的实现；
2. 支持质量管理流程模板的制定，能够按照质量问题分类、源系统等属性进行配
置；
3. 支持数据质量管理流程闭环，保证各种质量问题有对应的处理机制； 4. ODS系统发现数据质量问题后，需要向源系统提供异常数据清单； 5. 支持质量问题发现、分析、解决、确认的持续改进过程；
版权所有，注意保密
17
E-O：技术规范
6. 提供各个环节的监控和操作功能。 3.3.2.6 规则库管理
CTG-MBOSS 规范
规则库是一系列规则的集合，每一个规则的制定都是为了完成一个特定的数据稽核/检查任务，通过执行规则可以找出数据质量存在的问题。规则根据需要而制定，既可以是技术规则，也可以是业务规则；既可以针对数据总量（总量级规则），也可以针对具体记录（记录级规则）。
[功能要求]
1. 支持在统一的模块中，能够实现多种业务规则、技术规则的配置； 2. 支持规则的版本管理。 3.3.2.7 数据修正考核
数据问题是指数据记录个体的问题，是由于历史原因、操作失误、或信息不全等导致的，如：
? 不正确数据：数据无效或错误，违反数据约束规则、业务规则等；
? 不完整数据：某些信息缺失或未填充，虽然不影响源系统正常运转，但这些信
息的缺失会影响ODS的数据整合；
? 不一致数据：源系统彼此间信息存在冲突和差异，或者同一源系统内部的冗余
信息之间存在冲突。
数据问题需在源系统中对问题数据进行补录、修改，数据问题修正后就能得到改进，避免重复发生，可提升源系统的数据质量。ODS能够对源系统数据修正情况进行考核。
[功能要求]
1. 支持对不同源系统数据问题修正率的分析与展示。
版权所有，注意保密
18
E-O：技术规范
3.4 数据共享域
CTG-MBOSS 规范
数据共享域的功能是基于数据整合域所形成的统一数据视图，通过集中的数据/服务提供功能，为各业务应用系统提供非自有数据的共享，优化目前各业务应用系统间网状的数据流转方式，简化数据共享逻辑，降低数据不一致的风险。数据共享域的功能包括共享配置管理、数据/服务提供和共享权限控制。 3.4.1 共享配置管理
共享配置管理对共享数据的内容和共享接口规则进行配置。 [功能要求]
1. 支持对使用共享数据的系统范围进行配置，定制对其他系统提供的接口数据的数
据结构和语义描述；
2. 支持对共享数据访问频率和访问允许时间段进行配置管理；
3. 支持对数据直接提供、数据服务提供、界面集成等各种共享数据的发布方式的配
置管理。
3.4.2 数据/服务提供
ODS系统能够通过数据文件、数据库物理共享、接口表、视图、数据高级复制等技术手段向外部系统直接提供数据。
[功能要求]
1. 支持通过服务调用实现跨平台应用程序之间的应用到应用(A2A)集成。包括应用
程序接口(APIs)、Java远端方法调用(RMI)、面向消息的中间件以及Web服务等多种技术手段；
2. 要求提供数据服务定义、数据服务目录、服务参数定义的功能；
3. 支持业务应用系统直接集成ODS系统的界面，以建立一些跨系统的综合应用。在
界面构件的合理规划和设计下，通过界面集成可以提高开发部署效率、提高构件的重用性、有利于系统的健壮性和稳定性。
版权所有，注意保密
19
E-O：技术规范
3.4.3 共享权限控制
CTG-MBOSS 规范
作为企业运营数据的共享中心，ODS的数据具有一致性和完整性的特点，但是，不同的业务应用系统所需访问的数据内容不同，这就要求根据共享数据的CRUD矩阵，控制各个业务应用系统对共享数据的访问权限。
[功能要求]
1. 支持共享域中提供的数据和数据服务的授权访问机制，支持对用户/角色权限的
定制和对数据/数据服务的使用权限的限制； 2. 支持访问的日志记录机制。 3.5 数据应用域
数据应用域通过基于ODS中整合好的运营数据，提供查询、固定报表、动态报表和批量计算等应用。 3.5.1 数据查询
数据查询是一种条件不固定、不可预见、格式灵活的动态查询功能，是按需查询，与预定义的常用查询相对。用户可以选择任意维度（一或多个）进行查询，它的使用人员无需了解数据库和SQL，只需通过系统提供的各种向导式界面和联机帮助，按照业务逻辑规则即可快速、简洁的定义查询需求，系统自动完成连接操作、条件定义等SQL定义操作。
[功能要求]
1. 支持客户统一视图查询功能； 2. 等。
3.5.2 固定报表
固定报表是基于指标型的报表，对于实时性要求高的报表采用即时生成的模式，而对于实时性要求不高的报表，基于性能影响和资源开销两方面的考虑，应采用后台通过作业
版权所有，注意保密
20
E-O：技术规范