内容发布更新时间 : 2024/5/12 9:36:33星期一 下面是文章的全部内容请认真阅读。

创新创业大数据平台建设解决方案

口令进行用户身份的比对认证。

? 数据服务动态Token授权服务

向用户提供获取数据服务（开放数据API服务和块数据下载服务）访问授权动态Token的Web服务API，通过用户身份认证和数据服务访问权限认证后，向用户返回最新的数据服务调用授权动态Token。

? 数据服务访问控制

对用户向数据平台发送的数据服务调用请求进行有效性验证和访问控制。

3.2 大数据平台运营维护服务

创新创业大数据平台项目涉及的软硬件系统范围较广，且承载了重要核心的数据资产，其稳定运行的保障十分重要，某某数码依托自身十多年的IT运维经验，建立一套基于ISO/IEC20000和ITIL v3理论，遵循ITSS、GB/T 28827-2012系列运行维护服务国家标准的运营维护体系，对平台中各子系统以及各功能模块提供统一的监控维护服务，包括服务的提供状态监控、服务的使用状态监控、系统的运行状态监控等。

包括如下的平台运维服务：

3.2.1 平台内部资源的监控管理

对平台所涉及的所有硬件资源、软件资源和数据资源进行实时不间断的7x24小时的监控和管理，合理设定资源状态的预警阈值的设定，确保任何资源状态异常的及时通报和展示，通过声光报警、短信、邮

创新创业大数据平台建设解决方案

件的及时通知，确保管理人员及时的发现和处理问题。

同时借助大数据平台的优势，实现平台内部软件、硬件资源运行状态的趋势预测，不同资源告警阈值的智能化管理和自动设定，做到平台内部运行状态的稳定和持续。

? 硬件资源监控

大数据平台的硬件资源较多，所有硬件资源包含：路由器、交换机、防火墙、主机（window、linux、Solaris、HP-Unix、AIX等）、虚拟服务器、无线设备AC/AP、存储设备、光交换、其他安全设备等的监控，监控方式支持snmp v1/2/3、ssh/telnet、TCP、syslog、trap、脚本、WMI、netflow/cflow/sflow/netstream协议等。

? 支持对大数据平台涉及的各种设备状态的实时监控(如：通断、

资源使用情况、端口状态、流量峰值、流量变化量等其他关键指标等)

? 支持网络设备的流量的应用层协议分析和监控.

? 借助类似曲线图表现大数据平台内部最近一个小时，最近一天，

最近一周，最近一月，最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标

? 支持各类监控指标的告警阈值的人工和自动调整 ? 支持告警信息的短信、邮件通知以及声光报警通知 ? 支持网络拓扑和机房的视图可视化管理

? 支持网络资源的配置自动备份

? 软件资源监控

大数据平台内部的软件资源复杂，需要支持统一化的一体监控模

创新创业大数据平台建设解决方案

式，支持对Hadoop架构体系内所有软件模块和系统（HBase、HDFS等）、关系型数据库（MySQL集群、Oracle、SQLServer等）、中间件系统、前端应用、软件TCP端口等软件资源的监控和管理，支持SNMP、SSH/telnet、JMX、JDBC等监控方式和协议，实现：

? 支持大数据平台内部的各种传统关系型数据库和数据库集群、

Hadoop架构中HDFS/HBase等的状态、内存数据库状态、各类中间件资源状态、平台内部和前端应用状态、各类内外部的接口状态的实时监控

? 支持各类监控资源的告警阈值的人工和自动调整 ? 支持告警信息的短信、邮件通知以及声光报警通知 ? 软件信息变动和资源使用异常等关键指标的监控

? 基于软件关联关系的监控，实现基于多个软件和硬件的业务级

别的监控

3.2.2 平台故障处理管理

大数据平台涉及的软硬件信息和数据量较大，平台上线运行后会面临海量的故障信息，故障信息分析是运维工程师面临的难题，而云计算、虚拟化等新技术的广泛采用进一步加剧了运维管理的复杂度。需要对运维流程进行梳理，将技术人员从繁重的运维工作中解脱出来，实现运维作业的标准化、自动化，缩短业务响应时间，提高服务质量。平台的各类故障和告警处理的管理主要针对平台运行期间所有异常事件的统一管理，确保所有异常事件都被处理的管理功能。借助国家标准和ITIL的SLA模型，需要建立一套完备的故障事件、问题、变更和

创新创业大数据平台建设解决方案

发布等的标准化故障处理流程，规范故障处理的过程，做到故障的及时处理、追踪、统计，确保每一个问题和故障都能被及时的处理。提供页面/邮件/短信/声音/光/消息客户端/WebService接口及时通过责任人进行告警处理。

3.2.3 日常平台管理任务自动化

日常平台管理工作中有很多是标准化的工作，如巡检、值班等工作。这些工作会占用大量的时间，将人工的操作、管理转变为系统自动化的操作和管理，可以节省时间，将精力投入到更紧急、更重要的工作中。

? 自动巡检功能

平台的监控管理系统自动将需要巡检的设备状态发送到系统中，自动进行设备运行状态和重要指标性能数据的收集汇总形成自动巡检结果，同时巡检过程全程记录，通过巡检工单，能够跟踪巡检的执行情况。

? 人工巡检功能

针对非监控资源的巡检，可通过系统内提供的人工巡检功能完成巡检结果的记录，为巡检任务执行的计划、监督和结果的电子化管理提供了有效的手段。

? 值班管理

系统提供值班管理功能实现管理人员的排班、值班、交接班等信息的电子化管理，系统自动排班。

创新创业大数据平台建设解决方案

3.2.4 故障处理自动化

? 告警的处理过程通过基于ITIL的事件、问题、变更等标准化的流程进行管理

? 系统自动进行告警过滤、压缩，避免海量告警。 ? 自动将关键告警通过消息发送给责任人。 ? 系统自动运行预定义的脚本恢复故障。

? 对于需要技术人员处理的故障，系统自动创建工单，派发给管理人员处理。

? 系统自动关联知识库，协助技术人员处理工单。

? 技术人员处理结束后处理方案一键转知识，知识不断累积。 ? 平台内部管理的移动化

支持移动终端的平台状态监控和故障事件的处理，实现管理人员不在现场时的实时平台状态的监管，实现平台状态监控管理的移动化办公。移动终端可以通过政府内网的无线网络系统直接接入、也可以通过互联网经过加密的专用VPN通道访问政务内网的特定资源。

3.3 科研专家和数据资源

以某某数码与某某电子科技大学联合成立的“机器学习与数据智能联合实验室”进行挂牌，为大数据平台发展提供优质的科研专家资源。

以国信优易分中心的形式挂牌，平台提供与国信优易数据访问的接口支持，创新创业大数据平台成为整个地区访问国信优易拥有的国家