通过数据仓库整合各类环境管理信息的构思 下载本文

内容发布更新时间 : 2024/7/1 3:25:15星期一 下面是文章的全部内容请认真阅读。

龙源期刊网 http://www.qikan.com.cn

通过数据仓库整合各类环境管理信息的构思

作者:王翔

来源:《北方环境》2011年第07期

摘要:针对环境管理工作中存在的同时使用多个应用软件系统、各系统间互不兼容、数据不能共享、需要大量重复劳动、无法形成系统的监察档案资料、无法应用于环境决策中等现象,构思通过数据仓库技术实现环境管理数据的提取、整合、分析和运用,从而优化环境管理工作,进而为环境管理提供有效的决策支持。 关键词:数据仓库;环境管理;环境决策

中图分类号: X322 文献标识码:A 文章编号:1007-0370(2011)07-0077-01 1引入数据仓库技术的必要性

随着建设项目“三同时”管理、排污申报、排污收费、排污许可证、总量控制、污染减排等一系列规章制度的建立,环境管理工作的范围和内容正在不断加广加深。同时由于环境管理信息化水平的不断提高,工作中使用的应用软件实现了从单机到网络、从单系统到多系统的发展。每个应用软件的使用都规范化了相应的工作内容和流程,提高了工作效率。但多个应用软件同时使用,尤其是各部门使用不同的软件,以及新旧软件更替等,却造成了信息不能共享、不能交流、数据不一致、结构不统一、无法综合汇总、不能提取有效信息等诸多问题,具体表现在以下几个方面:

1.1多套系统各自独立,信息不能共享,造成数据多头收集和重复录入

现阶段各级环境管理部门都同时使用多套软件系统。这些系统中包含大量相同的企业基本信息,但由于各系统相互独立,且使用人员不同,造成多人、多部门分别收集相同的数据和重复录入,浪费了大量人力物力。

1.2系统间信息不能同步,影响了数据的一致性,造成工作脱节

由于系统相互独立,当一个系统数据更新后,其他系统中的相同数据却没有及时更新,出现同一家企业的同一污染源数据不一致的情况,造成工作脱节、延迟、重复劳动和管理混乱。 1.3新旧系统无法兼容,信息得不到有效利用

随着环境管理信息化水平的提高和环境管理工作内容的不断变化,旧有的系统不能满足新的工作需要,就会有新的系统出现。但新系统由于结构和内容的变化,往往不能兼容旧系统,不能得到有效利用旧系统中的数据,造成资源浪费和历史数据丢失等问题。

龙源期刊网 http://www.qikan.com.cn

1.4同时使用多套相同功能的系统

由于系统间的不兼容,有时需要同时使用多套相同功能的系统。各系统的内容不同,数据结构不同,无法兼容,数据不能传递,不但大大增加了工作人员的工作量,还浪费了有限的系统资源。

1.5无法为环境决策提供有效的数据支持

各级环保部门需要向其上级主管部门上报各类环境管理信息、接收上级的各项工作任务,同时上级部门也需要通过信息系统了解和掌握现有信息,从而做出正确的环境决策。然而由于同一企业的各类环境信息存放在多个系统中,各系统互不兼容,结构各异,无法进行集中统一管理。而且这些系统的数据都是面向业务流程的,不是面向主题的,很难从中抽取有价值的信息进行数据组织和分析,无法为环境管理提供有效的决策支持。

随着环境管理工作的进一步加强,环境数据日益增多。如何有效管理、长期保存、综合利用这些环境数据,实现信息共享和资源整合,为环境管理提供有效的决策支持,进一步规范环境管理工作,已成为现阶段亟需解决的重要问题。为此需要引入数据仓库(DW) 技术,将数据处理从传统的事务处理扩展到联机分析处理,进而获得环境管理工作所需的统计信息和决策支持信息。

2基于数据仓库的环境管理系统的体系结构

根据数据仓库之父William H. Inmon的定义:数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理人员的决策。为了使数据仓库的建设能够支持环境管理的各个方面,包括日常监管、在线监控、信访投诉、行政处罚、专项行动、环境应急等,同时能够进行各类统计、查询、分析和预测,可以采用分层结构构建数据仓库体系,进行数据清洗和转换后加载入数据仓库中,然后通过分析工具和数据挖掘工具分类整理成有效信息,最后通过前端工具和应用系统将分析结果提交给用户。具体结构如下: 2.1数据源层

收集各类数据来源,主要包括了基层环境管理部门日常使用的各类应用系统、外部数据和文档资料。基层环境管理部门日常使用的应用系统涉及很多方面,如污染源自动监控、12369环保热线、排污费征收管理、行政处罚、移动执法、突发环境污染与破坏事故、重点企业环境风险及化学品检查、各类环保专项行动和污染源普查等;外部数据包括各类环境法规、标准等;文档资料包括了各类往来公文及档案资料。这些数据是环境管理的基础数据,由各个不同的部门不断录入更新。 2.2数据存储与管理层

龙源期刊网 http://www.qikan.com.cn

数据源层的数据存储在不同区域、不同部门的异构数据库中。数据存储与管理层对这些异构数据库进行收集、统计,并明确各个数据库数据的具体用途,进而对数据通过抽取、净化、清洗和转换等操作进行有效集成,并按照主题进行重新组织,最终确定数据仓库的物理存储结构,同时组织存储数据仓库元数据。如:要收集一家企业一年内所有污染物排放及环境管理的情况,就从各系统中抽取该年度所有与该企业有关的信息,按照时间、类别等不同维度进行组织、转换后存入数据仓库中,并建立元数据以供数据检索和交互。按照数据的覆盖范围和各部门的业务需求,又可以将数据仓库分解为多个适合各部门使用的数据集市,提高执行效率。数据仓库的管理包括数据的安全、归档、备份、维护、恢复等工作。 2.3联机分析处理层

联机分析处理的简写是OLAP。OLAP对数据按照多维数据模型进行再次重组,以支持用户多角度、多层次的分析,发现数据趋势,侧重对决策人员和高层管理人员的决策支持。在环境管理工作中,可以根据管理决策的要求提供简单易懂的查询结果给前端工具和应用层。 2.4前端工具与应用层

前端工具主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基于数据仓库或数据集市开发的应用。这些工具为用户提供了人机对话的接口,可以根据用户的实际需求形成包含所需内容的界面供用户使用。通过这些工具可以让环境管理人员直观地了解废水、废气、废渣和噪声的排放规律和污染情况,了解各地区、各行业、各流域生产和生活对环境造成的影响,进而做出正确的分析和预测。 3引入数据仓库技术的作用

通过以上体系构建,将数据仓库技术引入环境管理工作中可以实现以下功能: 3.1实现数据的集成、统一

将基础业务系统产生了大量的业务明细数据从多个系统中分离出来,通过对数据的抽取、转换、清洁,根据不同的主题进行整合,使异构、分散的数据转换成集成、统一的信息,实现科学、高效的管理。

3.2提高了数据的查询能力

数据仓库中的数据包括事实数据和维度数据,仓库管理器会为事实表和维表创建索引,使查询更加快速。查询管理器能够实现复杂的查询,提供环境管理所需的各类信息。 3.3保存环境管理的历史纪录