CTG-MBOSS EDA-ODS:总体规范V1.0 下载本文

内容发布更新时间 : 2024/11/8 14:47:06星期一 下面是文章的全部内容请认真阅读。

CTG-MBOSS 规范

台提供用户状态变更数据),随着ODS的演进过程及ODS共享数据的实时性的提高,只要ODS提供共享数据的实时性能够满足外系统对数据实时性的要求,则外系统原来从数据的产生系统获取共享数据的方式需要改为从ODS获取需要的共享数据,以减少系统间网状接口,降低耦合程度,极大减少单一系统升级对其他系统的影响。 4.2 ODS与EDW

4.2.1 ODS和EDW对比分析

ODS与EDW具有以下的共同之处:

1.ODS与EDW都是中国电信EDA数据架构中的独立系统,两个系统都不是运营数据的产生系统,两个系统中的数据都是将各源生产系统的数据通过ETL等过程加载装入(EDW的大部分数据从ODS加载装入);

2.ODS中的数据与EDW中的数据一样都是分层存储的,都是既有细粒度的数据,同样也有根据不同维度汇总的汇总数据;

3.ODS与EDW上均可以提供基于跨系统整合后数据的报表类应用。

在以上ODS与EDW的共同处基础上,ODS与EDW又具有以下显著的区别:ODS与EDW虽然都有细粒度的运营数据,但ODS中细粒度数据的时效性高,并提供给外系统共享,而EDW中的细粒度数据的实效性低,不提供给其它系统共享,只提供给本系统做数据挖掘等功能时使用。ODS与EDW虽然都有汇总数据,ODS中汇总数据的汇总维度相对少,而EDW中的汇总数据的汇总维度多。ODS提供的报表内容主要是对面向生产运营过程数据的统计与监控,不会对这些信息做进一步的分析与挖掘,而EDW中的报表内容主要针对跨系统的数据做深层次的分析与挖掘,着重趋势分析并提供评估与决策功能。ODS与EDW区别的详细对比分析如下表所示: 分类 ODS EDW 专业分析人员和企业中高层管理人员。 使用对象 一线的生产和管理人员。 版权所有,注意保密 22

E-O:总体规范

系统功能

CTG-MBOSS 规范

数据整合,为生产系统提供数据共享; 查询功能;例如客户消费数据查询等; 报表功能:报表内容主要面向生产数据的统计与监控; 数据质量审计和监控管理。 报表功能:报表内容主要是面向分析与挖掘,主要支持多个维度的主题分析;趋势分析与问题发现;客户消费行为分析;提供评估与决策功能。 数据来源 ODS的运营数据来源是生产系统; ODS的部分分析结果数据来源EDW。 EDW运营数据主要从ODS获取; ODS没有提供的运营数据直接从源系统中提取。 数据获取性能和及时性 ODS支持OLTP类型的数据更新,数据更新时间短,性能与及时性都高于EDW。 EDW从数据存储机制、索引等方面保持较好的批量加载速度,但数据实时更新性能与速度差,数据更新时间不足以支持要求及时的报表和事件监控需求。 数据架构 ODS按关注生产运营过程的统计与监控为主的生产视角主题域方式来组织数据; ODS主要提供细粒度运营数据,也存在部分粗粒度汇总数据,但维度相对EDW简单; ODS提供当前数据的统计与监控。 EDW按关注对历史数据的深层次分析与挖掘为主的分析视角主题域方式来组织数据; EDW主要提供多层粗粒度汇总数据,且分析维度相对ODS更多; EDW提供历史数据的展示和分析。 数据存储时间 汇总数据保存3年; 三户数据长久保存; 详单数据保存1-3个月(如果ODS承担清单查询数据提供,则ODS需要保汇总数据保存5年; 三户数据长久保存; 详单数据保存2年; 其他数据保存3年。 版权所有,注意保密 23

E-O:总体规范

存6个月的清单); 其他整合层数据保存13月。 数据共享

CTG-MBOSS 规范

ODS可直接为生产系统提供运营数据的准实时共享服务 EDW不为生产系统提供此类数据共享服务。 EDW主要实现小并发量数据访问; 数据库优化主要侧重分区技术; 支持OLAP类型的数据操作。 技术特征 ODS主要实现大并发量数据访问; 数据库优化同时侧重索引和分区技术; 支持OLTP类型和OLAP类型的数据操作。 系统的可靠性 系统开放性 ODS参与运营,必须保证可靠性。 数据仓库可以允许有更多的脱机时间。 因为需要与大量不同硬件、数据库配置的系统相互交换数据,ODS要求比较高的系统开放性。 EDW一般只获取数据,而不提供给其他应用系统以多种模式直接访问,某些解决方案上也可采用相对封闭的数据库、软硬件平台。 4.2.2 ODS系统和EDW区别与功能边界划分

ODS主要面向一线的生产和管理人员,为一线的生产和管理人员提供运营相关报表及运营过程的监控和考核的功能;EDW主要是面向专业分析人员和企业中高层管理人员,为专业分析人员和企业中高层管理人员提供多个维度的主题分析和数据挖掘功能。具体说明如下:

? 使用角色

? ODS主要是面向营业、渠道等一线生产人员和一线管理人员,是为了实现

准实时的跨系统的运营细节数据的查询,以获得细粒度的运营数据展现; ? EDW主要是面向专业分析人员、辅助决策支持人员等,是为了实现基于历

版权所有,注意保密 24

E-O:总体规范

CTG-MBOSS 规范

史数据基础上的分析统计和数据挖掘,以获得客户的深层次的特征和市场发展的规律。例如渠道人员查询客户的全视图信息由ODS提供数据支撑,而专业分析人员的经营状况趋势分析由数据仓库系统提供支撑。

? 数据来源:

? EDW需要的运营数据,如果在ODS中已存在,EDW直接从ODS获取这部分数

据;

? 由于ODS与EDW两者定位差异存在两者提取的运营数据范围也存在一定差

异,因此存在EDW需要的部分运营数据而ODS不需要的情况,当EDW需要的部分运营数据在ODS中不存在时,则由EDW直接从生产系统获取这部分数据;

? ODS需要的大部分运营数据,直接来源生产系统;

? 对ODS中的部分分析结果数据,来源于EDW,例如客户洞察信息等。 ? 数据获取性能和及时性

? ODS支持OLTP类型的数据更新,数据更新时间短,性能与及时性都高于

EDW。

? EDW从数据存储机制、索引等方面保持较好的批量加载速度,但数据实时

更新性能与速度差,数据更新时间不足以支持要求实时的报表和事件监控需求。

? 数据架构:

? ODS按关注生产运营过程的统计与监控为主的生产视角主题域方式来组织

数据;

? ODS提供操作数据的统计,主要提供细粒度运营数据,也存在部分粗粒度

版权所有,注意保密 25

E-O:总体规范

CTG-MBOSS 规范

汇总数据,但维度相对EDW简单;

? EDW按照关注对历史数据的深层次分析与挖掘为主的分析视角主题域方式

来组织数据;

? EDW提供分析数据的展示和分析,主要提供多层粗粒度汇总数据,且分析

维度相对ODS更多。

? 数据共享

? ODS直接为生产系统提供运营数据的准实时共享服务;

? EDW一般不直接为生产系统提供数据共享服务。EDW通过分析挖掘产生的客

户洞察信息、营销客户群、挽留与赢回客户群等分析信息只直接提供给ODS,由ODS向生产系统提供此类分析信息的共享。

? 数据应用

? 数据查询:ODS提供生产环境下的数据查询,而EDW提供分析环境下的查

询;

? 固定报表:ODS提供生产环境下的生产经营报表,而EDW提供分析环境下

的分析挖掘报表;

? 动态报表:ODS提供面向少量维度的细粒度数据的统计,而EDW提供面向

多个维度的多层粗粒度数据的主题统计与分析; ? ODS提供绩效管理和统计和数据质量审计和监控管理; ? EDW提供趋势分析、客户消费行为分析和评估功能。 ? 数据存储

? 三户数据:ODS长久保存,EDW长久保存;

版权所有,注意保密 26

E-O:总体规范