计算机机房设计与施工的优劣,直接关系到机房内计算机系统是否能够稳定可靠地运行,是否能够保证各类信息通畅无阻。
计算机机房既要保障机房设备安全可靠地运行,延长计算机系统使用寿命,又能为系统管理员创造一个舒适的环境。能够满足系统管理员对温度,湿度,洁净度,安全防护,电源配电,和防雷接地的要求,所以一个现代化的机房是一个高度可靠性,舒适实用,节能高效和具有可扩展性的机房。
1.1 设计原则
数据中心是数据信息计算、交换和存储的中心,出现在企业及Internet网络中数据交换最集中的地方。它应具备丰富的带宽资源、安全可靠的机房设施、高水平的网络管理和完备的增值服务。因此数据中心的设计必须满足当前网络的各项需求,又需要满足面向未来快速增长的发展需求,因此必须是高质量的、灵活的、开放的。根据我公司对数据中心基础设施建设的基本原则和经验,结合IT设施现状和需求,对数据中心进行了规划,在规划时遵循以下设计原则:
(1)安全可靠性
高可靠性是数据中心运营成功的关键,是所有用户选择数据中心的基本原则。因此决不能出现单点故障,要对数据中心的布局、结构设计、设备选型、日常维护等各个方面进行可靠性的设计和建设。在关键设备采用硬件备份、冗余等可靠性技术的基础上,采用相关的软件技术提供较强的管理机制、控制手段和事故监控与安全保密等技术措施提高机房的安全性。针对数据中心的网络方案,其可靠性设计包括:链路冗余、关键设备冗余和重要业务模块冗余。
(2)可扩展性
数据中心应可按需建设,分步实施,并且可以根据需求,按照不同负荷和不同应用独立设计,独立运行,同时降低机房的复杂性,降低建设和运营成本。应避免全部基础设施一次性全部投入建设运行,造成资源、资金的极大浪费。
(3)标准化
在数据中心机房系统结构设计时,基于国家颁布的有关标准,包括各种建筑、机房设计标准,电力电气保障标准,计算机局域网、广域网标准,消防及安防系统标准,坚持统一规范的原则,从而为未来的业务发展、设备增容奠定基础。
在数据中心机房产品生产、建设过程中,应避免出现定制化现象的出现,而应以便于零部件维修、采购、更换为原则。
(4)灵活性
模块化设计,可根据数据中心不同需求进行取舍,特别是后台管理平台设计思想,使得数据中心可实现对于不同用户的定制服务,如在后台管理平台中的用户数据备份中心、数据中心客户中心、数据中心维护中心,使得数据中心用户可以方便地进行对其应用的控制与更新。
(5)可管理性
在建设数据中心时,随着业务的不断发展,管理的任务必定会日益繁重。所以在数据中心的设计中,必须建立一套全面、完善的管理和监控系统。所选用的设备应具有智能化,可管理的功能,同时采用先进的管理监控系统,实现先进的集中管理监控,实时监控、监测整个中心机房的运行状况,实时灯光、语音报警,实时事件记录,这样可以迅速确定故障,提高运行性能的可靠性,简化数据中心管理人员的维护工作,从而为数据中心安全、可靠的运行提供最有力的保障。
1.2 设计依据
客户的建设需求;
GB 50174-2017《数据中心设计规范》;
GB50462-2008《电子信息系统机房施工及验收规范》;
TIA-942国际电信联合会数据中心建设标准;
YD/T 1095-2000《信息技术设备用不间断电源通用技术条件》;
GB2887-2000《计算机场地技术条件》;
GB50052-95《供配电系统设计规范》;
GB50054-95《低压配电设计规范》;
GB7450-87《电子设备雷击保护导则》;
CECS72:97 《建筑与建筑群综合布线系统工程设计规范》;
CECS89:97《建筑与建筑群综合布线系统工程施工及验收规范》;
GB50019-2003采暖通风与空气调节设计规范 ;
GB 50243-2002通风与空调工程施工及验收规范 ;
《Telecommunications Infrastructure Standard for Data Centers》(TIA-942);
《视频安防监控系统技术要求》(GA/T367-2001);
《火灾自动报警系统设计规范》(GB50116-98);
《火灾自动报警系统安装使用规范》(中国工程标准化协会标准);
《电子设备雷击保护导则》(GB7450-87);
《电磁辐射防护规定》(GB8702-88);
《环境电磁卫生标准》(GB9175-88)。
2 方案架构与设计
2.1 项目背景及需求概况
由于发展的需要,XXXX计划对办公大楼1楼园区监控及消控室改造成1个新建数据中心,新数据中心整体面积约120m2,新数据中心建成后,将包含1个一体化数据中心机房、1个操作室和1个消控室。
目前,该数据中心目前已铺有石膏板吊顶天花和防滑玻化砖,天花与地砖之间净高约3.4 m。
图2.1 机房现状平面图
本方案将为XXX 新建机房部署数据中心所需要的UPS子系统、蓄电池组子系统、配电子系统、制冷子系统、监控子系统、机架子系统、布线子系统以及消防子系统,计划部署2组一体化机房,共计 26架42U标准机架。
2.2 一体化机房与传统机房的对比
(1)过度建设与灵活扩展
按照传统机房的建设办法,在机房规划初期,就需要考虑对整个数据中心的环境进行设计,以本机房为例,传统机房对各个子系统的设计都是针对整个机房以及未来5年(一般规划)IT设备规划甚至按照整个机房满配置IT设备的情况来进行设计,然而我们知道,数据中心的建设都是按需发展的,前期的设备容量部署一般会远低于未来的扩展,如果一开始就按照满负载的情况必然导致很长一段时间的过度建设;而且由于机房用的电子产品多为精密电子产品,精密电子元器件的寿命为5-8年,过早建设也会导致后期使用也将面临设备的老化与更替的问题,造成一定程度的浪费。
而一体化机房以模块为单元,涵盖1个数据中心所需要的各个系统,每个模块都可以视为一个中小规模的独立数据中心,因此可灵活的根据客户的需要来进行按需扩展,以本方案为例,如果客户前期的设备量较少,则可以先部署1个模块,到后期业务发展起来后,再复制1个模块(只需要引入1条强电输入线和1条弱电输入线),即可满足设备扩容的发展需要,因此这种一体化机房的模式更贴近客户的使用需求,更节省成本的投入。
(2)提高机柜利用率,节省空间投入
采用一体化机房的设计方案,通过部署封闭式冷通道,在模块内配置行间空调,让冷源接近热源,让冷气流组织只在有限的空间内提供集中供冷,使得机房的制冷效果整体提升,因此,一体化机房的机柜的热功耗可从传统机房的1~3kW低密型提高到3~9kW的中高密度,对于相同的设备功率需求,一体化机房所需要的机柜数更少,机房的空间利用率更高。
(3)降低数据中心的整体能耗
由于传统机房没有对冷气流进行有效组织以及没有进行保冷设计,机房的整体能耗较高,加上厦门沿海的气温常年偏热,数据中心的PUE甚至可达2.0以上,IT设备耗电量仅占总耗电量的45%。
图2.2 PUE对比说明
从上图可以看出,传统数据中心所采用的精密空调制冷,制冷部分耗电量占比很高,是数据中心能耗损耗的最大源头。而采用模块化机房后,制冷部分耗电量占比大幅降低,整体PUE可达1.5。
基于部署相同的设备前提下,按照目前行业内对传统机房和一体化机房的PUE标准,传统机房与一体化机房在运营成本(以电费为主)的对比如下表:
序号 |
类别 |
传统机房 |
一体化机房 |
传统机房-一体化机房 |
结论 |
1.基础数据 |
(1) |
IT设备总耗电(kW) |
130.00 |
130.00 |
|
|
(2) |
全年PUE(机房总设备功耗/IT设备功耗) |
2.50 |
1.50 |
|
一体化机房的能耗更低 |
(3) |
每机架配电容量(kW) |
3.00 |
5.00 |
|
|
(4) |
本期工程共需机架数(IT柜) |
43 |
26 |
|
一体化机房机柜密度高,更节省空间利用 |
(5) |
每度(kWh)电费(元) |
1.20 |
1.20 |
|
|
2.运营成本 |
(1) |
机房总设备功耗(kW) |
325.00 |
195.00 |
|
PUE越低,能耗越少 |
(3) |
机房每月耗电度数(度) |
234,000.00 |
140,400.00 |
93,600.00 |
|
(4) |
机房第1月电费(万元) |
28.08 |
16.85 |
11.23 |
|
(5) |
机房全年耗电度数(度) |
2,847,000.00 |
1,708,200.00 |
1,138,800.00 |
能耗减少,用电成本随之降低 |
(6) |
机房1年电费(万元) |
341.64 |
204.98 |
136.66 |
每年可节省电费130多万元 |
(3)其他方面的对比
传统机房 |
一体化机房 |
建设周期长,工程量大,一般需要 6 个月~1 年的 |
建设周期短,现场工程少,从商务合同期起,30天交付,1~2周内完成安装 |
建设成本高,PUE 值在 1.8-2.3 之间,IDC为局部热交换,效率不高,能耗高 |
建设成本较低,PUE 值在 1.2-1.5之间,冷通道和热通道为独立封闭;热交换效率高, 耗电量比传统机房少 30%-50%左右,比较节能 |
传统的房间型精密空调机组制冷,24小时不间断运作 |
就近热源的行间空调设计,支持风冷/冷冻水/水冷/双冷源/自然冷却等多种节能制冷模式 |
机房建设,装修成本高 |
在工厂就提前预装,以模组的方式到现场是安装
调试,不需要额外的吊装设备 |
迁移成本高,机房外围需重新建设,迁移成本高 |
低,机房移动性较好,比较灵活 |
每个机架的密度为3kW,高于 5kW 的密度时,冷源不能有效给设备提供制冷 |
机柜是精准送冷,冷通道和热通道为独立封闭,每个机架的密度为 3KW-30KW,大大的提高机房使用利率,环保和节能 |
扩容性不好,前期投入也比较大,投资回报率较低 |
投资回报较高,扩容性良好 |
后期运维成本高,维护成本及人员,电费投入高 |
后期运维成本低,维护较为简单,电费投入低 |
因此本方案建议采用一体化机房解决方案取代传统机房。
考虑该数据中心的重要性,本项目应严格从高稳定性、安全性、可靠性等方面进行考虑,按照五年的发展规划原则以及业务扩容的需要,本数据中心应同时具备灵活扩容等特点。
模块化数据中心是一种力图实现数据中心基础设施及其关键设备的最大限度的模块化,同时,新型的绿色模块化数据中心在提高资源利用率,节约投资成本方面相比传统机房具有较大的优势,能较好的满足厦门同安现代服务业基地I6地块消控中心新建数据中心的建设要求。
为保证数据中心的可靠运行,机房建设应为计算机和网络系统提供合乎规范的环境条件和工作条件,以满足数据中心内设备对温度、湿度、洁净度、电性能、防火性、防静电能力、抗干扰能力、防雷、接地等各项指标的要求。
2.3 总体设计概况
为满足现代机房快速建设、功能齐全、灵活扩展、方便管理的需求,建议采用IDM数据中心产品解决方案。各系统采用模块化、标准化设计,既相互独立又密切配合,能够全方位的满足您的需求!
本方案一体化机房的总体规划如下:
名称 |
数量 |
单位 |
说明 |
一体化机房 |
2 |
套 |
封闭式冷通道遏制解决方案,6000W×3600D×2000H,mm |
机柜 |
26 |
台 |
19英寸标准机柜,提供双供电回路设计,每个机柜内配置2条PDU,5kW/机柜 |
列间空调 |
6 |
台 |
制冷量25.5kW/台,前送风后回风,恒温恒湿,2+1冗余 |
配电列头柜 |
2 |
台 |
提供模块内UPS配电和市电配电 |
UPS |
2 |
套 |
配置模块化UPS,系统容量为200kVA,当前单台配置容量为80kVA,4+1冗余 |
蓄电池 |
144 |
只 |
每台UPS配置2组36节120AH 12V蓄电池 |
电池柜 |
4 |
台 |
安装在冷通道内 |
监控系统 |
1 |
套 |
提供模块内及配电间的动力与环境监控 |
2.3.1 数据中心平面布局图
本方案整体布局规划如下图所示:
2.3.2 土建及电气装修要求
本方案对现有数据中心的基本土建及电气要求:
表2.1 土建及电气要求
楼内通道满足大型设备进入 |
机房位置远离电磁干扰源 |
² 机房内预留供水口、排水口或者地漏(尽量靠近墙面) |
机房地面水平度低于20mm@5m |
² 梁下/天花板下净高大于2.35米 |
² 楼层底板承重能力大于7.2kPa(0.735吨/平方米) |
² 楼层天花板悬挂能力大于2.4kPa(0.245吨/平方米)(若有) |
天花是否被密封,无缝隙、孔洞 |
天花已经做减少灰尘处理 |
照明度在水平面上@1米高大于500勒克斯 |
照明度在垂直面上@1米高大于200勒克斯 |
照明供电线路独立于设备供电线路 |
照明无调光开关 |
所有门宽大于1.00米 |
所有门高大于2.13米 |
所有门无门槛 |
所有门无中央立柱或可拆卸 |
楼层满足当地抗震能力 |
按方案要求提供走线槽、架,规范强、弱电布线 |
2.3.3 数据中心电气系统设计
《数据中心设计规范》GB50174-2017可将我国数据机房划分为三个等级如下:
等级 |
A级 |
B级 |
C级 |
经济性 |
电子信息系统运行中断将造成重大的经济损失; |
电子信息系统运行中断将造成较大的经济损失 |
不属于A 级或B 级的电子信息系统机房应为C 级 |
安全性 |
电子信息系统运行中断将造成公共场所秩序严重混乱。 |
电子信息系统运行中断将造成公共场所秩序混乱 |
|
基础设施的基本要求 |
应按容错配置 |
应按冗余配置 |
应按基本要求配置 |
供电电源 |
两回路供电,并且两个电源不应同时损坏 |
两回路供电 |
|
不间断电源系统配置 |
2N或M(N+1)冗余 |
N+X冗余 |
N |
不间断电源系统电池备用时间 |
15分钟(当有柴发作为后备电源时) |
根据实际需要确定 |
|
本方案参照GB50174规范B级机房要求来建设。UPS系统采用模块间N+1冗余设计,制冷系统采用N+1冗余设计。
2.3.4 低压配电系统
2.3.4.1低压配电系统设计
本方案低压配电系统以模块为单元,将低压配电输入至机柜配电统一部署在冷通道内精密配电列头柜内。
本项目机房的供电采用380/220V电压、50HZ频率和三相五线制(即TN-S系统)的配线方式供电。
配电总体设计方案为:用户提供1路专用市电至模块内列头柜的市电配电单元输入侧,为UPS和配电间精密空调、一体化机房提供市电输入;UPS输出经由UPS输出配电开关到达一体化服务器机柜,为末端的机柜提供双路UPS供电,每个通道内系统总UPS配电能力达到80kVA;一体化机房内精密空调,由列头柜市电配电模块供电。
(1)市电配电单元
市电输入模块作为机房供电的总输入配电,包括对UPS、精密空调、照明等设备的电力供应,本方案市电输入采用1路市电输入(也可根据客户需要定制为双路输入)。为方便未来扩容或接入其他设备,配电柜设计容量450A,配置有:
l 市电输入模块:450A/3P;
l 市电输出模块:
Ø 250A/3P:1路,UPS输入
Ø 200A/3P:1路,UPS维修旁路输入
Ø 63A/3P:4路,模块内精密空调输入(3用1备)
Ø 其他备用开关
l 防雷模块:采用B级防雷组件
(2)UPS输出配电模块
UPS输出配电模块为每个机柜提供2路UPS输入
l UPS输出回路A:输入:32A/1P×13
l UPS输出回路B:输入:32A/1P×13
l 备用开关:32A/1P×2
l 天窗控制盒:16A/1P×1
l 监控主机:16A/1P×1
(3)监控模块
配置7英寸触控屏,对配电柜内主路与支路实现监控。
本方案配电系统图如下:
在保证电源运行时满足三相基本平衡,设计时将单相负荷均匀分配在各相上。计算机机房内的插座应分两种,它们是:不间断电源(UPS)供电的设备用标准插座和市电直接供电的设备用标准插座。为防止闪电雷击及操作过电压对设备造成的危害,机房专用动力配电柜进线处装设过压保护装置,以消除线路上产生的瞬时高压尖峰脉冲。保证计算机设备稳定运行,不受损坏。
机房的动力设备如精密空调、新风换气机由市电供电,其它计算机设备如服务器、交换机等由UPS进行供电。
配电柜开关等主要配件须采用施耐德、ABB。配电柜中设有电流表、电压表,供检查电源电压、电流及三相间平衡的关系,三相电分别设有电源指标灯,以监控三相电的供电情况,并且备有断电自动切换开关,完全满足机房的需要。
2.3.4.2精密配电柜介绍
本项目配电柜采用科士达精密配电柜。科士达精密配电柜,针对智能化数据机房的需求研发而来。精密配电柜既具备普通配电柜电力分配、基本报警、一般监控的功能,还具备故障历史记录、支路开关状态监测、7寸彩色液晶触摸屏、高精度测量、数字化通讯等功能。
(1)应用范围
主要应用于金融、政府、企业等行业的中小型数据中心,网络机房,以及电信运营上的通信基站的电源分配、管理。
(2)产品特点
l 配置7寸彩色液晶触摸屏,可显示主回路及支路全电量信息,支持记录历史故障数据,提供完善可靠的电源管理
l 可选固定式或支路插拔式开关,其中插拔式开关支持在线换相和更换开关
l 支持支路电压监测及电力故障声光报警功能
l 可提供通信协议,支持动环监控的兼容
l 可靠防护措施,最大限度确保操作安全
l 高品质电气元件,空开品牌可选施耐德、ABB、等其他品牌可选。
l 可选配B级或C级防雷器,确保配电柜稳定运行
(3)产品技术参数
产品型号 |
GG-IC或GG-UC |
输入方式 |
单路、双路可选 |
操作方式 |
手动、自动可选 |
系统接线方式 |
三相五线制(TN-S) |
额定工作电压 |
AC400V |
额定频率 |
50Hz |
额定绝缘电压 |
AC 690V |
尺寸(WXDXH) |
600x1200x2000(mm)/800x1200x2000(mm) |
输出回路 |
根据项目编写 |
监测功能 |
三相电流、电压,有功功率,无功功率,视在功率,电度,频率,负载百分比,主回路全电量,32支路电流和开关量和防雷器状态,故障报警和记录功能 |
保护功能 |
短路瞬时,短路短延时,过载长延时,缺相,防雷 |
告警功能 |
短路,过载,低电压,高电压,防雷故障(可选配消防脱扣,环境监控,)声光报警 |
显示界面 |
7寸彩色触摸屏 |
通讯接口 |
标配RS232,选配RS485或SNMP接口 |
防护等级 |
IP20/30/40/42/54可选 |
防雷功能 |
选配B级或C级防雷保护 |
2.3.5 UPS及蓄电池
2.3.5.1UPS系统设计
UPS系统能够为您解决的问题:
依据GB50174规范B级机房要求,本着机房建设安全、经济、节能的原则,本项目UPS方案采用模块间并机冗余。
模块间并机系统
如图所示:YMK系列UPS为模块化设计,整机采用集中监控,每个模块间并机运行,且每个模块集成旁路、整流、逆变单元。模块间可以任意设置主用模块数和备用模块数,例如整机配置10个模块,可配置为主用8个模块,备用2个模块。
系统优点:减少初期投资,自由灵活配置。
按照GB-50174-2017《数据中心设计规范》中B类机房设计要求,本方案 UPS采用双机并机方案进行配置,本方案配置4台60kVA三进三出高频在线式UPS,系统整体容量达到120kVA。
目前单个模块内机房规划机柜数量为13个,每个机柜按照5kW配电容量考虑,则UPS总负荷P为
P=13×3kW=65kW
则UPS的视载功率S:
S=P/0.9=65000/0.9=72kVA
(注:0.9为YMK系列UPS的功率因素)
因此,我们推荐采用科士达YMK系列模块化UPS,整机最大容量为200kVA,本方案配置5个20kVA UPS热插拔模块,采用4+1冗余,本期UPS容量为80kVA,采用本模块化UPS的供电可靠性可达99.999%,可满足本方案的建设需求。
2.3.5.2后备电池系统设计
UPS配套电池组承担了在市电断电的情况下为UPS提供电源的工作,保障在市电断电的情况下机房内的计算机系统仍能在一定时间内正常工作,因此,电池组在UPS系统中充当着非常重要的角色。
由于用户考虑采用柴油发电机组做为机房市电的后备电源,因此UPS电源单机按照65kW设备满载后备30分钟计算。
考虑本方案配套电池柜每个电池柜最大配置容量为36节120AH (或以内)蓄电池,因此本方案建议蓄电池单组数量为36节。
电池计算公式:(恒功率法)
电池恒定放电功率=负载功率÷(n×单组电池数量×h)
h-逆变效率 n-电池单体格数,12V蓄电池为6。
65KW负载后备30分钟电池组计算:
电池恒定放电功率=65000/(6×36×0.95)=316W/Cell
12V120Ah蓄电池恒功率放电时间表
由上表,参考终止电压为1.75V,放电时间为2小时的放电率为187W,2组为374W>316W,因此本方案采用2组36只12V120Ah蓄电池,能够满足UPS后备30分钟的需求。
电池开关由公式:
I=P/U=S×功率因素/(N×6×1.75×逆变器系数),逆变器系数取0.95
则I=65000/(36×6×1.75×0.95)=181A,故电池的输入选用不低于181A的空气开关。