大数据平台数据治理整体解决方案 大数据分析平台数据治理建设方案 下载本文

内容发布更新时间 : 2024/5/19 17:48:27星期一 下面是文章的全部内容请认真阅读。

大数据分析平台数据治理建设方案

源描述的元数据,设定权限的访问控制策略,以描述权限对应具体的访问控制。

授权管理:提供基于统一的用户库配置目录和交换服务的访问授权,授权粒度可以细化到角色到具体用户,也可以用户组进行管理。

服务管理:服务的分类、部署方式、负载均衡和数据的转换、编码、加解密等特性的加载和解除管理。

支持集中管理的配置文件和远程服务部署各种服务以能运行环境的软件升级。

提供C/S和B/S的平台配置管理界面。

可以授权牵头单位对特定的交换域组成单位进行分组授权。 2、

平台部署管理

服务可灵活部署在中心,一个或多个前置机系统,实现负载均衡。

提供域管理的方式,能够将前置的数据库资源、文件资源、服务资源、应用资源、设备资源等异构环境资源纳入具体的域进行管理,通过授权来实现域资源的查看等功能。 3、

监控管理

(1) 支持网络拓扑发现;

(2) 设备监控:监控设备的CPU、内存、磁盘、逻辑分区、

交换分区、网络接口、进程使用情况;支持对数据库性能监控与管理,提供从应用使用情况、系统资源使用情况、性能指标等全面的监测管理;

(3) 应用监控:对前置节点和交换中心部署的服务、组件运

50

大数据分析平台数据治理建设方案

行情况进行监控,主要监控服务的使用率、异常及失败、服务消费能力、服务使用者情况;对信息交换整个业务流程进行监控;

(4) 监控预警:支持对监控指标设立阀值,并能通过短信、

邮件等多种方式进行预警,预警可以分等级,按照警报的不同等级选择不同的通知方式和通知人员; (5) 日志分析:采集来源于交换平台的交换资源日志、访问

目录服务系统日志、使用基础(共享)库资源的日志、访问门户的日志,对这些日志信息进行统一展示和统计分析,为管理人员分析整个共享交换平台的运行和使用情况提供数据:

(6) 数据库监控:支持对Oracle等数据库连接和性能监控,

实现对数据库表空间使用情况的监控,支持对Oracle等数据库管理,提供数据库服务的启动、停止功能,提供创建空间、表、触发器、视图以及数据的备份和恢复功能;

(7) 对中间件的监控:支持对Apusic应用服务器等中间件

性能监控,能够帮助系统管理员监测系统性能、分析和确定系统的瓶颈。比如能监控应用服务器上页面/servlet的平均响应时间等性能指标。

4、

安全管理

(1) 统一认证:支持用户/口令和数字证书两类技术电子身

份认证,支持统一的认证网关和授权管理;结合内外网CA平台,实现资源访问的全程可控、可审计;

51

大数据分析平台数据治理建设方案

(2) 传输安全:平台提供安全可靠的传输安全。支持VPN、

数据加密、消息数据签名、摘要等管道套接方式对数据传输进行加密,防止越权访问机密信息或恶意篡改: 1) 支持HTTPS传输协议,通过SSL实现数据防篡改、数据加密等功能;

2) 支持对消息内容的数字签名、数字摘要和信息加密; 3) 提供多级冗余备份存储策略,提供安全可靠信息存储,保证系统安全运行。

5、

日志管理

在资源交换平台中由于需要支持交换跟踪及审计,需要对平台产生的所有交换事件进行详细记录,因此需要高性能的日志服务器进行日志管理,在资源交换平台中使用2台服务器搭建双机日志服务器以满足性能上的要求。

对资源交换平台的用户操作日志、资源交换日志、系统日志进行统一存放、集中管理。

(1) 用户操作日志

用户操作日志实现应用的操作日志和审计功能,即记录操作员进入和退出的时间,记录每项重要的操作。提供对各类操作痕迹的审计追踪功能,确保用户的每个行为都能产生必要的操作痕迹,并能以防抵赖的方式提供事后的审计验证支持。 (2) 资源交换日志

在进行资源交换的过程中,资源交换平台记录所有的交换过程信息,包括资源使用者、资源类型、资源获取文

52

大数据分析平台数据治理建设方案

件、资源返回结果、资源请求时间、资源应答时间等,在进行资源记录时,会使用服务器证书对交换记录进行签名,保证交换记录的不可抵赖性,通过对资源交换平台中所有资源交换情况的记录,实现对每个交换记录的审计追踪功能,确保每个资源使用行为都能产生必要的交换痕迹,以防抵赖的方式提供事后的审计验证支持。 (3) 系统日志

在资源交换平台,除用户操作日志、资源交换日志以外的系统事件都记录在系统日志中,包括系统事件记录、系统告警记录、系统错误记录等,通过系统日志记录下资源平台各系统产生的所有事件,可以使用系统日志所记录的信息为系统进行排错,优化系统的性能,或者根据这些信息调整系统的行为。

系统可自动统计单位信息交换服务的提供率和利用率。

2.1.3.4 政务信息资源共享电子监察系统接口需求 制定政务信息资源共享交换平台相关的法律法规和管理制定,规范信息资源共享工作,保险信息安全;借助“市政务信息资源共享电子监察系统”对交换平台的资源共享以级流程进行实时监督、纠错处理、综合评测,对信息共享采集、发布、使用时限、内容、运行情况等方面提供全过程可靠安全的监督保障。具体要求如下:

提供从业务数据库至前置机数据库上报和更新的监督

53

大数据分析平台数据治理建设方案

接口;

提供交换平台数据传输过程的监督接口; 提供数据使用方从前置机获得数据的监督接口。 2.1.3.5 内、外网交换中心数据交换需求

市政务信息资源分布在政务内网和政务外网,为保险信息资源内外网数据交换,结合国家的保密机制,考虑通过符合国家、省、市并认可保密要求的内外网交换设备实现内、外网交换中心的数据交换和数据更新。

内网的功能概述:政府内部公务内网定位为政府内部工作网,与其它网络物理隔离,传输不涉及国家秘密的内部信息。根据国家涉密应用需求和与机要网的协调情况,以及内网加密设施的完善程度等方面的情况,一定程度上界定是否将内部机密信息在内网上传输。

外网的功能概述:外网定位为国家机关对社会公众的业务网,与互联网通过网络安全系统逻辑相连。国家政府机关以门户网站为外网形式在互联网上运行,并且要采取必需的安全防护措施。门户网站办事栏目,主要体现政府各个职能部门的网络窗口并负责建设和维护,逐步形成一个系一网络信息体系。

外网向内网统一的目的:外网和内网物理断开,政府用户通过外部网站的申请、表格无法传输到内网的审批系统中来,给门户网站服务带来了很大的局限性,使网站无法给政府用户带来方便、快捷的服务。

54