内容发布更新时间 : 2024/11/5 23:18:29星期一 下面是文章的全部内容请认真阅读。
CTG-MBOSS 规范
此系统配置的软硬件需要兼顾到在线处理的性能和批量数据更新、汇总与查询的效率。另外作为中国电信IT支撑系统之一，系统的实现应参考国际标准NGOSS、国内ITSP、CTG-MBOSS等规范，并结合中国电信IT现状，采用先进可靠的设备和技术，确保系统的先进性和成熟性，保证投资的有效性和延续性。
ODS总体技术需要注意以下几个方面： 网络与硬件方面：
1. 采用安全可靠的高速磁盘阵列设备，支持多机高可用群集系统，磁盘阵列与主机系统
采用SAN方式连接；
2. 采用高速可靠的网络设备，提供高速的I/O能力； 3. 主机支持多机群集或海量并行处理技术，支持分区技术；
4. 主机采用高可用性(HA)和负载均衡的方式，防止单点故障，提高系统可用性和系统资
源的使用率。
软件方面：
1. 选择对OLTP和OLAP应用都具备稳定处理性能的数据库引擎； 2. 选择能对数据整合过程进行有效监控和管理的数据整合工具或技术；
3. 数据质量管理是ODS系统承担的重要任务，ODS选择的数据质量管理工具或者自行开
发的数据质量管理功能需要对进入ODS系统的数据实施全程闭环的数据质量审核和修正，提高中国电信运营数据质量；
4. 选择提供各种接入方式的报表查询和统计分析功能的报表工具；
5. 选择为业务处理、技术实现等环节提供清晰的系统导航功能的元数据管理工具，； 6. 采用能对系统内的软硬件节点进行监控和自动预警的系统监控软件；
7. 制定完善的备份与恢复策略，采用成熟的备份软硬件，提供快速备份与恢复功能；
版权所有，注意保密
6
E-O：技术规范
CTG-MBOSS 规范
8. 由于ODS需同时满足前端应用的快速响应和后端数据的实时及批量更新，因此ODS的
模型应该采用分层设计方法，兼容两类特征，其中ODS的整合层也会做适度的反范式处理来满足系统的建设要求；
9. 为了满足数据的高速加载，系统需进行相关优化操作，优化数据抽取调度策略，避免
CPU、Memory、IO等资源的争抢，设计良好的数据文件/表空间/数据表存储规划，保证数据在磁盘的优化分布；
10. 对于数据共享层的访问应采用独立接口的原则，将ODS的数据封装为独立接口层提供
外部访问，避免ODS系统数据模型直接暴露给外部系统，提高数据安全性。
3 系统功能框架
3.1 概述
为了在业务和IT之间形成统一完整的功能视图，基于中国电信ITSP应用系统目标架构的基础架构部分，继承中国电信CTG－MBOSS的功能架构成果，以ODS系统三阶段业务支撑能力为目标，制定此功能框架，以明确界定ODS系统功能范围和层次，并作为ODS设计和规划系统的基础。
本框架遵循CTG-MBOSS功能层次的划分标准，从系统服务对象和支撑对象的角度，将ODS划分为五大功能域：数据整合域、数据共享域、数据应用域、数据质量管理域、公共管理域，如图3-1所示：
版权所有，注意保密
7
E-O：技术规范
CTG-MBOSS 规范
图3-1 ODS系统功能框架
3.2 数据整合域
数据整合域是ODS系统的关键部分，ODS通过多种技术准实时或实时地从源系统中抽取数据，抽取过来的数据首先到达ODS的接口数据层进行预处理，然后经过转换等工作到达整合数据层，形成ODS的核心数据。整合层的数据通过整合、计算、汇总形成汇总层的数据。数据整合域功能主要包括ETL和数据更新配置两大部分。 3.2.1 ETL整合 3.2.1.1 数据抽取
ODS从数据源系统获取数据，在实施时需要综合考虑业务需求、抽取效率、源系统代价等因素确定抽取策略，抽取策略包括抽取方式（增量、全量）、抽取时机、抽取周期等。
版权所有，注意保密
8
E-O：技术规范
[功能要求]
1. 支持增量、全量、异步和同步抽取方式；
CTG-MBOSS 规范
2. 支持多种不同系统平台和数据类型的数据抽取。包括各种关系型数据库系统、各
种文件格式的源数据等。
3.2.1.2 数据映射
源系统数据通过整合从源系统进入到ODS，ODS再提供给外部系统使用时，数据的格式和定义都有不同程度的变化，因此需要在数据整合过程中通过数据映射方式进行转换，数据映射主要定义数据结构、数据定义方面的映射关系。
[功能要求]
1. 提供图形化可操作数据映射界面；
2. 提供多种关系的数据映射方式，如一对一、一对多、多对一、多对多。 3.2.1.3 数据转换
数据转换包括格式和类型转换、数据翻译、数据匹配、数据聚合以及其他复杂计算等。多数情况下，数据源到ODS之间主要的转换是格式转换、数据翻译、数据匹配，而数据聚合以及其他复杂计算主要在数据汇总时出现。
[功能要求]
1. 支持在不同业务系统之间数据转换。 2. 支持不同的数据源系统平台。
3. 支持数据的定义、数据结构和错误数据的转换处理。 3.2.1.4 数据检查
对于文件接口的数据的检查，主要从接口数据的完整性、及时性和正确性三个方面进行检查，系统根据接收文件的时间、入库是否异常等角度进行分析；对于业务应用系统的
版权所有，注意保密
9
E-O：技术规范
CTG-MBOSS 规范
数据库接口，系统主要从接口的及时性和一致性方面进行检查，通过比较源系统的相关指标，分析数据的可信度。 [功能要求]
1. 支持接口文件检查，包括文件名、记录数、实体完整性检查等； 2. 支持接口数据检查，包括数据类型、实体完整性等。 3.2.1.5 数据加载
数据加载是指将抽取转换后的数据加载到ODS中，包括数据行加载和数据块加载。在综合考虑效率和业务实现等因素基础上确定数据加载周期和数据追加策略。 [功能要求]
1. 支持批量数据的数据库直接加载；
2. 支持多个数据库连接，能够进行大量数据的并行加载；
3. 支持自动与手工预加载的流程。当日常数据加载出错，一般采用人工干预的方式
来进行，这时需提供一个数据重新接收、加载的操作界面； 4. 支持多种加载数据的方式，如直接追加、全部覆盖、更新追加。 3.2.1.6 异常控制
主要通过计数／统计数平衡、拒绝数据量等方便评估数据复制、ETL的具体运行情况，以发现数据整合过程中有关数据的问题，并进行必要的处理。 [功能要求]
1. 支持校验点。当外部数据记录特别庞大时，如果因为某种原因发生故障中断后，
可以从最近的校验点开始处恢复处理；
2. 支持外部数据记录的错误限制定义，同时将发生错误的数据记录输出。 3.2.1.7 作业管理
ETL作业管理主要包括初始化作业、日常ETL作业、日常复制作业、异常处理作业
版权所有，注意保密
10
E-O：技术规范