内容发布更新时间 : 2024/11/8 12:14:35星期一 下面是文章的全部内容请认真阅读。
互联网消 费类数据 互联网分类信息数据 互联网招 聘类数据 互联网医 疗类数据 互联网交通出行类数据 互联网财 经类数据 互联网汽 车类数据 互联网信 托类数据 来自大众点评、美团网等相关消费统计指标的相关数据 来自58同城、赶集网等相关分类信息数据 来自拉勾网、中华英才网、智联招聘等相关招聘类数据 来自丁香网、挂号网等相关医疗类数据 来自携程、去哪儿及12306订票等相关交通类数据 来自新浪财经、凤凰财经、雪球等相关财经类数据 来自58同城二手车、易车等相关汽车类数据 来自第一信托、宜信等相关信托类数据 100 100 100 100 100 100 100 100 1.17 1.17 1.17 1.17 1.17 1.17 1.17 1.17 总计 表3-20 业务数据估算表
1200 14.06 分布式存储系统用于存储系统的业务统计源数据（全量）、互联网数据以及数据计算和中间临时数据。其中，源数据包含来自统计业务数据、其他相关部门数据；互联网数据主要包括相关统计指标的网络数据；中间结果数据包括数据运算的中间结果、临时结果等数据。分布式存储系统所需存储空间计算如下：
数据类型 数据描述 统计业务数据及相关部门全年数据量:该数据为以上图业务数据估算表中统计统发改委数据、计局数据、交通厅数据、住建部数据、国土局数据、金融机构数据、工商局数据、教育局、卫生厅、海关数据、税务局数据等总和。 数据量 (TB) 源数据 数据量 2.34 60
互联网 数据量 互联网的统计指标数据全年数据量：该数据为以上图业务数据估算表中统计互联网电商类数据、互联网房产类数据、互联网消费类数据、互联网分类信息数据、互联网招聘类数据、互联网医疗类数据、互联网交通出行类数据、互联网财经类数据、互联网汽车类数据、互联网信托类数据等总和。 中间结果，占原始数据的25% （源数据+互联网数据+中间结果）*3 索引等其他存储开销,占数据库数据量的20% 数据库管理空间,占数据库数据量的30% 数据库数据量+系统开销空间+管理空间 11.72 中间结果 数据量 数据库 数据量 系统开 销空间 管理空 间空间 存储容量 3.52 52.73 10.55 15.82 79.10 表3-21数据容量估算表
综上所述，每年的数据存储量为79.10TB。 （7）网络带宽分析
按照集群的计算路由特点，每个任务的调度时候各节点的并行计算都需要进行数据交换，网络的带宽是集群性能的重要性能指标因素，建议使用万兆局域网，连接主机、服务器等设备。生产局域网与其它局域网之间使用VLAN技术、防火墙等进行网络隔离。
3.8.3 投资估算
（1）投资估算说明
XX省统计局大数据统计平台项目的投资估算依据国家建设项目投资估算的有关规定编制，投资估算遵循“符合规范、结合实际、经济合理、不重不漏、计算正确”的指导原则。
61
本方案设备价格参照厂商报价和有关资料计算，设备的运杂费包含在设备费中，不另单列。
应用系统软件定制费，按定制各种应用系统软件需要的工作量和人工费用估算。
（2）总体投资估算
本项目的估算依据存储量、计算量、软件开发成本及运维成本等进行投资估算。主要包含有硬件设备、软件产品、开发人力成本等，总体估算如下：
序号 1 2 3 总计 软件产品 硬件设备估算 软件投资估算 开发成本估算 金额（万） 324.00 136.00 541.69 1001.69 表3-22总投资估算表
（3）硬件设备估算
根据存储容量估算、数据库服务器处理能力、内存容量等分析建议硬件配置清单如下：
硬件 序号 用途
硬件 配置 62
配置 说明 单价(万) 数量 金额（万）
数据交换平台 1 4CPU 32G，8 * 2T 数据采集 7200转硬盘，4个服务器 GB以太网卡 4CPU 32G，8 * 2T 数据交换 7200转硬盘，4个服务器 GB以太网卡 实现数 据采集 提供对外 数据交换 服务 10 2 20.00 2 10 2 20.00 主数据仓库 CPU:4CPU 10core 不低于Intel Xeon E5-2650V3; X86服务 内存： 128G-256G; 器集群 硬盘:16* 900G 10000转； 网卡:4个10GB以太网卡 运行内存MPP数据库、运行Hadoop集群 1 22 12 264.00 网络设备 1 相关服务之间连接网络设备 设备以及与历史数据直连 10 2 20.00 总计 324.00 表3-23硬件估算表
（4）软件投资估算
根据报表服务器处理能力、数据库服务器处理能力、内存容量等分析建议软件配置清单如下：
序号 1 2 软件产品 多维分析工具 互联网数据采集工具 单价 (万) 数量 1 1 金额 （万） 0 50 0.00 50.00 63