图文解析:让我们深入参观Google数据中心 下载本文

内容发布更新时间 : 2024/5/18 4:43:16星期一 下面是文章的全部内容请认真阅读。

图文解析:让我们深入参观Google数据中心

【TechTarget中国原创】近日,Google公司第一次允许媒体记者进入其位于世界各地的数据中心进行参观拍摄,向世人展示其迷宫一样的世界。这些中心的处理器日以继夜地处理着全球网民的搜索请求、Youtube视频和邮件等。虽然公布的只是一些图片和非常有限的视频资料,且没有详细注释说明,但如古老的谚语所述:一张图片胜过千言万语,今天我们就这些有限的图片管中窥豹,更多的是猜测,分别从制冷、机柜、服务器、建筑等方面做一些最粗浅的分析以飨读者,并与同行们共勉。 一、制冷篇

从下图可以看到这个数据中心的冷站规模很大,整个房间管道林立,并且色彩斑斓非常好看。空调管道采用了Google企业标准色来区分不同管路的功能,比如绿色是冷却水回水管、黄色是冷却水供水管、蓝色是冷冻水供水管,深红色(或者冷机侧的粉红色管)是冷冻水回水管,白色的是消防管路等来区别不同的功能,以便运维人员快速定位并查找问题。还有在IT设备侧也采用同样五种颜色的网线等,加上不同数据中心不同主题的装修风格,这些都是数据中心颜色标识管理的典范。下图的左侧是大型冷水机组,右侧是板式热交换器,以便在室外温度较低时候采用板换散热实现水侧节能。Google也非常重视数据中心的耗水问题,据他们估算采用高效节能数据中心每年可节约几亿加仑的饮用水。

还有一些运营中的小细节也考虑非常周全,比如管路屋顶等地方采用了很多的电动吊装葫芦链条方便重型设备的维护更换吊装,比如在管路底部采用了中间凹两边凸的滚轮型支撑,减少管路振动和拉伸形变产生的物理应力,比如楼层间的竖管采用了U型弯曲以便减少水温变化和建筑形变带来的隐形损伤,以及冷机周边地面的应急排水口,最后在偌大的机房中运营人员采用同样是Google标准色的G-bike用于现场巡视等运维和工艺细节。 二、微模块机柜篇

下图为美国俄克拉荷马州的数据中心,整个机房在大量服务器LED指示灯的闪烁下显得非常整洁和梦幻。从这个整机房的俯视图看,数据中心采用了厂房式大开间框架结构,封闭热通道的一排排机柜构成庞大微模块阵列,机房顶部是供电网络桥架和消防管路,服务器和交换机的状态灯闪烁着,只有极少量的机房级照明。整个房间面积很大,走道以及顶部空间都非常宽敞,但设备区却较为紧凑,机柜间冷通道才两块砖多点的距离(标准砖宽度为600mm),其中热通道占用了大约两块砖的距离,而且服务器机柜的深度较短,也就一块砖多些。从图片较近处还可以发现有蓝色布帘密封的地方,空缺的位置是留给服务器机柜的,这也说明了Google的服务器部署是以机架为单位快速安装部署的。该蓝色布帘密封可以隔绝冷热气流的混合,减少冷量的浪费,体现了精细化运营的思想。高密度的服务器采用全正面维护,顶部为密集的TOR交换机单元。

从这个图还可以看出Google采用创新的空调置顶散热方式,整个机房大环境作为冷通道提供冷量给服务器吸入,加热后的热空气在封闭通道内上升,然后通过热通道顶部的空调盘管制冷并被几个烟囱状导风管和大散热风扇重新循环

回外部冷环境。这种空调置顶布局虽然存在着盘管漏水、更换维护较难等风险,对产品质量和施工工艺要求非常高,但是其气流组织较为合理,比如热气流自动上升,冷气流自动下沉,可以减少风扇的功耗,且机房大冷池环境可以作为缓冲池等,减少局部空调故障引发的热保护。据相关资料显示Google微模块的整个热通道温度非常高,像个大烤箱,温度可以达到49摄氏度,以至于一旦必须进去维护,那么服务器必须关掉才行。采用热通道封闭可以提供一个较为舒适的现场运营环境,热量只被限制在热通道中并被冷冻水带走,考虑大开间的铁皮厂房冷量密封保温特性不太好,但因为Google服务器的高温工作特性(如图中Google服务器的深度较短,大约只有600mm多的深度,散热会比较容易),送风温度高达27摄氏度,因此这个较高温度下的冷量传递损失不会很大,围栏效应的影响几乎可以忽略。

从上面这张照片可以看到Google微模块热通道内部的一些细节,比如热通道宽度大约是两块标准地板砖,里边安装的是机柜顶部空调盘管的安装支架和加固支撑,通过地板底下的快接软管提供冷冻水给热通道顶部的空调盘管提供冷冻水。从冷冻水管的数量和密度上看,顶部空调盘管也做了模块化冗余设计,是个很不错的设计。服务器全正面维护,每台服务器采用三个分布式较大风扇散热,绿光来自服务器内部LED状态灯。Google自行设计的服务器采用尽可能少的能耗,并控制风扇转速足够低,只要服务器内部温度不要超过设定值就可以了,处处都体现节能。

Google在供电和制冷等方面总能打破常规,而没有采用商用的传统UPS和精密空调方案,体现了创新颠覆的思想,甚至如右边图Google还申请了三明治