统计局大数据统计平台建设方案 智慧统计大数据云平台建设方案 下载本文

内容发布更新时间 : 2024/5/2 9:51:31星期一 下面是文章的全部内容请认真阅读。

3.7.2分布式数据库

数据库主要构建在x86平台上,为无共享架构(Share Nothing),依靠软件架构上的创新和数据多副本机制,实现系统的高可用性和可扩展性。负责深度分析、复杂查询、KPI计算、数据挖掘以及多变的自助分析应用等,支持PB级的数据存储。

(1)海量存储,在线横向扩展

1.控制器集群体系架构,所有控制器并行承担数据IO、保障系统整体负载均衡,数据分散存储,避免单控制器故障带来的风险和性能的瓶颈,支持控制器在线横向扩展,满足持续增长的容量和性能需求。

2.支持NAS/ Object/IP-SAN/ IB-SAN存储接口,并且支持SAN、NAS、Object同时运行,满足客户在不同时间、不同地点、不同业务对存储的不同需求,支持Windows、Linux、Unix等多种操作系统并存的复杂网络环境中,轻松实现跨操作系统的数据存储与共享,另外支持NFS/CIFS/FTP等多种文件共享协议。 3.支持丰富的主机连接接口,支持1Gb/10Gb iSCSI、40Gb/56Gb InfiniBand主机连接,无缝接入用户现有环境,满足客户对高带宽及高性能的差异化需求。

4.全面支持Flash /SSD/SAS/SATA各类常见存储介质,模块化的容量扩展模式,支持数据分级存储,满足各类型应用。

(2)数据持续保护,业务运行无忧

1.支持数据卷隔离映射功能、数据快照功能、快照回滚、远

52

程卷复制(同步/异步)、远程数据复制及恢复、逻辑分区动态扩容。

2.支持数据副本、数据纠删码、自动分层等多种数据冗余保护和性能加速功能,为用户提供高级别的数据保护及容灾功能。 3.支持全集群Active-Active、Active-Standby、全局热备等控制器工作模式,保障整体系统的高可用,确保数据存取及业务运行万无一失。

4.支持软硬件故障时的数据自动修复,系统可用性达到99.999%。

(3)模块化设计,人性化管理

1.AS13000各主要部件均采用模块化设计,客户按需选择,维护、升级、管理简单方便。

2.支持数据副本、全局热备,以及自动构建RAID、各RAID级别间执行在线迁移不影响正常数据应用。

3.完备监控管理方式,当系统出现异常时,除了通过机器指示灯报警外,可通过邮件等方式将异常状况及时通知管理员。 4.集中部署,统一管理。 (4)绿色节能

1.全系统选取节能降耗的处理器、芯片组、风扇和散热片等部件,提高系统的能效利用率。

2.支持在线扩容/缩减时数据自动迁移,确保系统按需配置,同时支持Maid磁盘节能技术,降低磁盘能耗,节约开支。

53

3.支持自动精简技术,大大提高存储资源利用率。

3.8 软硬件配置

3.8.1 选型原则

主要软硬件选型原则如下:

(1)高可靠性和高可用性原则。硬件平台应稳定、可靠,能够满足大数据统计平台管理工作的要求;选择主流供应商,提供系统高可用性解决方案。

(2)先进成熟性原则。系统应具有产品和技术先进性,选择产品和技术应具有一定的前瞻性,能够适应未来一段时间(3-5年)业务需求及技术发展变化的需要。同时尽可能兼顾产品和技术的成熟性,增强系统的整体稳定性。

(3)高可扩展性原则。系统平台必须提供足够的可扩展能力以满足未来3-5年业务增长变化的需要。

(4)经济性和投资保护原则。在选择硬件平台时,应充分考虑现有系统硬件的投资保护,充分利用现有资源,坚持在先进、高性能前提下合理投资,以期在成本最佳的前提下获得最大的经济效益和社会效益。

(5)高可管理性原则。硬件平台应提供丰富的、图形化的管理工具,便于管理及系统问题诊断。

(6)安全可靠原则。软硬件产品自身需具有一定的安全性,

54

能够满足整体安全策略的要求。同时,设计中还应注重信息安全体系的建设,提高系统的整体安全性,进一步保证数据安全。

(7)开放式标准原则。软硬件产品需支持业界通用的开放式标准,降低因兼容性问题造成的问题发生率,提高系统的稳定性,满足系统间灵活的信息交互的需要。同时,充分考虑产品可扩展性,满足不断发展变化的业务和技术需求 。

(8)统一标准化原则。软硬件产品应坚持标准化的原则,采用业界公认的行业或技术标准,降低管理复杂度。同时,坚持统一化的原则,整个项目内的所有同类的硬件基础设施应尽可能采用统一的标准。

(9)本地语言支持原则。软硬硬件产品需具有本地语言支持功能。

3.8.2 容量估算

(1)WEB服务器技术指标分析

WEB服务器主要提供WEB服务,本系统要求的用户并发数较大,对主机的处理能力要求较高。

系统处理能力表现为单位时间内完成交易的能力(简称并发处理能力)。Web服务器处理能力 (tpmC)按下列公式计算:P=U1×N1×T×E/J

U1──系统同时在线用户人数;

N1──平均每个用户每分钟发出业务请求,取0.7; T──平均每次访问产生6个事务;

55