文章

数据中心:设计、规划与建设的管理及技术指南

数据中心:设计、规划与建设的管理及技术指南

设计一座数据中心,就是管理各种后果。最终的产品不是建筑本身,而是持续、安全地交付计算能力、连接和存储。本指南涵盖整条决策链——从商业论证和风险分析,到热工与电气工程、通信、防护、施工、调试验收和运维。

顺序始终如一:商业论证决定关键性;关键性决定需求;需求决定设计;设计通过测试来证明;运维则保持所达到的性能。跳过任何一步,都会把不确定性转移到施工阶段,在那里变更的代价更高,并危及工期。

关于本资料:文中给出的架构是参考示例,不能取代实施设计、技术报告、职业责任,也不能取代查阅适用标准的现行版本。冗余并不自动等同于可用性:结果取决于物理独立性、选择性、自动化、流程、综合测试和运维能力。

管理层摘要

本指南的每个部分都回答一项具体决策。请把这张表当作阅读地图:管理者应从前四行开始;工程团队应逐项研读各技术学科;运维团队应聚焦调试验收、文档和指标;采购团队应使用对照矩阵和检查清单来组织 RFP、技术对标和验收。

部分内容主要决策
基础目标、类型和生命周期自建、购买托管机房、边缘还是混合?
需求与风险BIA、关键性、威胁和容忍度哪种中断是可以接受的,代价是多少?
可用性等级、拓扑、维护和故障哪种架构能满足业务?
规划容量、面积、密度和扩展建多少、何时建、建在哪里?
热工气流、DX、冷冻水和液冷如何稳定高效地带走热量?
电气电网、发电机组(GMG)、UPS、电池、ATS、PDU 和保护如何把安全的电力送达 IT 负载?
通信路由、MMR、布线和拓扑如何消除隐藏的依赖?
防护与控制消防、门禁、CCTV、BMS 和 DCIM如何检测、遏制和响应?
施工与交付材料、阶段、QA/QC 和调试验收如何证明设计行得通?
运维与未来SLA、维护、PUE、AI 与高密度如何长期保持可靠性?

什么是数据中心

两排机架之间的技术通道,带有穿孔架空地板
两排机架之间的技术通道。照片:Robert Harker/Wikimedia Commons,CC BY-SA 3.0。

数据中心是一组协调运作的空间、公用设施、控制系统和流程,用于支撑技术和通信设备。电力、散热和网络都是服务链;每个环节都需要容量、保护、监控和维护路径。

层示例典型故障
业务服务、客户、法规、收入关键性定义不当
IT 与通信计算、存储、网络、平台需求超出容量
设施电力、散热、消防、安防单点故障
运维人员、流程、备件和供应商人为失误或响应延迟

原则:关键基础设施必须围绕需要存活的服务来设计,而不仅仅是围绕将要安装的设备。

完整的生命周期从战略和需求,经过初步研究、概念设计、基础设计与实施设计、合同、施工、测试、运维、优化,直到最后的扩展或退役。

类型与部署模式

模式优势关注点
企业自建掌控力,以及与业务的整合CAPEX、规模和专业团队
托管机房(Colocation)速度、连接和共享基础设施合同、责任划分和交叉连接
超大规模规模、标准化和自动化对电力、水和土地的需求高
边缘低延迟,靠近用户分散的站点、维护和物理安全
模块化/预制工期和可重复性土建接口、物流和扩展
混合跨站点和云的灵活性端到端的运维架构和可观测性

自建与外购的比较,必须纳入总成本、工期、监管风险、可用电力、连接、扩展能力、使用寿命、资金成本、人员配置、过时风险和合同灵活性。一间看似便宜的自有机房,可能需要不成比例的电气和热工改造;托管机房可以缩短交付周期,但需要 SLA、审计和退出计划。

  • 梳理哪些负载不能离开站点,哪些可以分布部署。
  • 至少为增长设定三种场景,并设定一种压力场景。
  • 纳入停机成本,而不仅仅是 CAPEX 和月费。
  • 明确每个环节由谁负责:公用设施、数据中心、机架、设备和应用。

需求的平衡

一个可行的项目需要平衡三类利益相关方:业务方界定什么必须持续运行;工程团队把它转化为容量、拓扑和性能;财务设定投资和运营的边界。这种平衡必须记录在设计基础文件(Basis of Design,BoD)中,包含假设、排除项和验收标准。

类别核心问题
业务哪些服务?谁会受影响?时间窗口多长?有哪些合同或法律义务?
技术初期和未来的负载?密度?续航?路由?可维护性?
财务CAPEX、OPEX、应急预备金、资金成本、能源、维护和更新?
运维人员、7×24 覆盖、备件、供应商、流程和培训?

业主项目需求(Owner's Project Requirements,OPR)文件整合了这一决策,必须包含:

  • 项目目标和范围。
  • 负载特征和增长期限。
  • 可用性、安全和能效标准。
  • 环境条件和运行限值。
  • 计量、告警、集成和数据保留。
  • 测试、文档、培训和质保。

BIA 与业务风险

业务影响分析(Business Impact Analysis)识别关键流程、依赖、最长可容忍停机时间和渐进式影响。RTO 指导恢复时间;RPO 指导最大可接受的数据丢失。它们不能取代设施分析,但可以避免基础设施凭感觉来规划容量。

影响证据示例处理方式
财务收入损失、罚款、返工按每小时和每次事件量化
运营积压增加、生产力下降对降级和恢复建模
法律/监管期限、数据保留、安全与法务和合规部门核实
声誉客户流失、媒体、信任使用情景和指标
生命/安全医疗服务、应急、控制最低容忍度和正式响应

概率和后果必须有历史数据、资产状况、暴露程度和现有控制措施作为依据。残余风险是缓解之后剩下的部分——接受它是风险责任人的决定,而不是设计上的疏漏。

示例:如果一次供电故障每小时会中断 30 万雷亚尔的业务,而可能的恢复时间为 4 小时,则直接的参考影响为 120 万雷亚尔——这还不包括罚款、形象和运营恢复。

内部与外部风险

领域威胁核查
选址洪水、山体滑坡、外部火灾、飞机坠毁地图、历史记录、暴露半径和勘察
公用设施薄弱的电网、燃料、水、通信可行性函件和物理路由
建筑结构荷载、关键机房上方的水、振动勘测和测试
消防可燃物荷载、防火分区、探测法定设计以及起因/蔓延分析
人员不当访问、失误、缺乏培训隔离、流程和培训
供应链交付周期、专用备件、单一供应商关键清单和战略库存
网络物理融合暴露的 BMS/DCIM、弱凭据分段、加固、备份和日志
  • 带有责任人、期限和证据的风险登记册。
  • 用于分析故障模式、影响和控制措施的 FMEA。
  • 用于分析流程偏差的 HAZOP 或 What-if。
  • 用于分析导致顶事件的各种组合的故障树。
  • 用于直观呈现预防、事件和缓解的 Bow-tie(蝴蝶结)图。

不做过度简化的可用性

安装在数据中心技术机房里的工业柴油发电机
数据中心的柴油发电机。照片:Mikael Häggström/Wikimedia Commons,CC0(公有领域)。

可用性是服务能够履行其功能的时间比例。对于可修复的部件,常用的近似公式为 A = MTBF / (MTBF + MTTR)。然而在数据中心里,共因依赖、人为失误、维护、控制系统和运维响应,使得系统层面的行为远比这个公式所暗示的复杂。

N exact capacity, 1 path SOURCE MODULE CRITICAL LOAD no alternative path N+1 reserve in the same path SOURCE N +1 CRITICAL LOAD tolerates failure of 1 module 2N two independent systems SOURCE A SOURCE B MODULE A MODULE B CRITICAL LOAD dual-cord, 2 physical paths 2(N+1) 2 systems, each with reserve SOURCE A SOURCE B MODULE A (N+1) MODULE B (N+1) CRITICAL LOAD tolerates failure + maintenance Red = single point of failure · Dashed green = reserve module · Navy/purple = independent A/B paths
冗余拓扑:N(单一路径)、N+1(同一路径内设一份备用)、2N(两套独立系统)和 2(N+1)(两套系统,各带一份备用)。概念性表示,非实施图。
概念实际含义
N支撑设计负载所需的容量
N+1在所需之外多一个模块
2N两套完整且相互独立的系统
2(N+1)两套完整的系统,各自带有一份额外的备用
并行维护(Concurrent maintenance)有计划地移除一个部件或路径,而不中断负载
容错(Fault tolerance)一次故障不会导致关键负载立即中断
  • 由同一配电盘供电的两台设备,并不构成独立的路径。
  • 没有物理隔离的逻辑冗余,可能因单一事件而失效。
  • 单电源线负载需要 STS 或特定的架构;双电源线负载必须采用一致的 A/B 配电。
  • 电池的额定续航会随负载、温度、老化和放电方式而变化。

等级与参考标准

ISO/IEC 22237 系列依据整个生命周期中的可用性、安全和能效对基础设施分级。Uptime Institute 使用面向拓扑和运营表现的 Tier 标准。不同参考标准的级别和等级不应被视为自动等同:合同要求必须注明所采用的标准、版本、范围和证明方法。

意图典型架构验证问题
基本容量单一路径和经过规划的部件计划内维护是否需要停机?
冗余部件链路中的部分环节为 N+1是否仍存在单一路径?
可维护性多路径和隔离能否在带载的情况下维护每一个部件?
容错隔离和自动响应一次孤立的故障是否会中断负载?

警告:不要仅凭一张示意图就宣传认证、等级或 Tier。认证取决于相关项目、范围、文档、施工和/或运维,并由有关机构评估。

双路电气架构

A/B 原则会创建通往关键负载的两条供电路径。为使其有效,必须考虑电源、发电、变压、切换、UPS、配电、线缆、PDU 和设备接入。共用的部件必须被识别出来并说明理由——而不是在故障发生时才被发现。

GRID A utility GRID B independent source GMG A generator + fuel GMG B generator + fuel UPS A battery + bypass UPS B battery + bypass PDU A metering and protection PDU B metering and protection CRITICAL LOAD dual-cord A/B rack
A/B 双路径:从市电到机架的两条独立路径。概念性表示,非实施图。
  • 维护期间以及在所定义的故障条件下的 N 容量。
  • 在所有运行模式下的选择性和保护配合。
  • 可测试的联锁和切换逻辑。
  • 为防范火灾、水和人为干预而进行的物理隔离。
  • 从市电到机架的计量点。
  • 安全的旁路方案,以及恢复到正常状态。

从 IT 清单到设计功率

容量规划从设备清单、实测或声明的功率、同时系数、使用特征、增长和预留开始。铭牌功率不等于平均能耗——但设计也不能忽视峰值、瞬态、同时启动、电池充电和老化。

阶段参考计算
初始 IT 负载各设备之和 × 利用率和同时系数
增长按年度或按安装批次划分的情景
机架容量电气、热工、物理和地板的限值——取其中最低者
IT 热负荷大致等于稳态下耗散的电功率
基础设施IT + 散热 + 损耗 + 照明 + 辅助设备
预留明确的余量,而不重复叠加保守系数

示例:100 个机架 × 8 kW = 800 kW 的 IT 负载。在设计 PUE 为 1.45 时,平均总参考功率将为 1.16 MW。电气系统仍然必须考虑故障模式、维护、启动和额定容量。

密度与机架策略

密度可以用 kW/机架、机房的 kW/m² 或每个计算单元来表示。平均值会掩盖热点:一间 8 kW/机架的机房里可能包含 30 kW 的孤岛。设计必须划分区域,定义每个机架的限值,并为液冷预留演进路径。

参考范围典型应用热工策略
最高 5 kW/机架传统 IT 或低占用率有序的通道和旁路控制
5 至 15 kW/机架虚拟化和存储封闭通道和带调节功能的设备
15 至 30 kW/机架高密度计算和适度的加速器行间/后门式,或高度受控的风冷
30 kW/机架以上HPC 和高密度 AI评估直接芯片冷却(direct-to-chip)、CDU 和工艺用水

这些范围仅供参考。决策取决于所需的流量、设备 ΔT、可用压力、布局、热容忍度和制造商规格。

  • 宽度和深度要与设备和布线相适应。
  • 留出通行、维护和部件拆卸的通道。
  • 线缆管理不得阻挡排风。
  • 盲板和开口封堵。
  • 接地、等电位连接和标识。

选址

标准尽职调查问题
电力可靠容量?电压?外部冗余?并网交付周期?电能质量?
通信有几家运营商?路由是否真正多样化?入口是否相对?
环境气候、水、噪声、排放、许可、洪水和周边环境
土建土壤、荷载、振动、高度、通道和设备物流
运维劳动力、燃料、备件、安防和响应时间
扩展面积、公用设施、分期、干扰以及施工期间的连续性

在既有建筑(改造类项目,brownfield)中,应进行竣工勘测,适用时进行扫描、荷载测试、配电盘和线缆检查、结构分析,并核查关键区域上方或旁边的水。看不见的约束往往决定了设计:竖井、排风路径、层高、地板荷载、消防或吊装通道。

热工基础

安装在成排机架旁的 CRAC 冷却机组
安装在数据中心环境中的 CRAC 机组。照片:Robert Harker/Wikimedia Commons,CC BY-SA 3.0。

IT 设备消耗的几乎所有电能都会转化为热量。热工系统的任务是在源头捕获这些热量,输送并排放到环境中,同时使设备的进风保持在设定范围内。机房的平均温度并不能反映回流、旁路或热点。

现象影响控制措施
回流(Recirculation)热空气回到机架进风口封闭、密封和合适的压力
旁路(Bypass)冷空气没有流经 IT 设备流量调整、盲板和布局
混合(Mixing)降低 ΔT 和效率对气流进行物理隔离
流量过低进风温度升高容量、风扇和畅通的路径
流量过大浪费能源并产生不必要的压力按需调节
封闭机架行之间的通道,带有用于冷风送风的穿孔架空地板
封闭机柜行之间的冷通道,带有用于送风的穿孔架空地板。照片:Robert Harker/Wikimedia Commons,CC BY-SA 3.0。

环境参数

环境等级必须依据所安装的设备来界定。作为广泛使用的参考,ASHRAE TC 9.9 对 A1 至 A4 等级给出的推荐范围为 18 °C 至 27 °C;允许范围因等级而异,不应与长期运行的目标相混淆。湿度必须依据露点、结露风险、静电和腐蚀来管理。

参数为什么要测量最佳实践
进风温度IT 设备实际收到的空气按机架和高度布置传感器,而不仅仅是装在墙上
湿度与露点结露、静电放电(ESD)和腐蚀趋势分析和一致的告警
压差确认气流方向在相关区域之间测量
颗粒物与腐蚀电子设备的可靠性过滤、密封,必要时使用腐蚀挂片
漏水早期探测按区域设置传感器并定期测试

磁带设备、电池和电力部件可能有不同的限值。以制造商的规格和质保条件为准。

冷却技术

方案何时合适关注点
直接膨胀式(DX)小型、模块化或分散的站点制冷剂、距离、冗余和部分负荷效率
冷冻水中大型规模,集中式水泵、冷水机组、冷却塔/干冷器、水和控制
行间式(In-row)热点,以及靠近负载机房内的水或制冷剂配管
后门式(Rear-door)改造和高密度重量、软管、结露和维护
直接芯片冷却(Direct-to-chip)高密度 CPU 和 GPUCDU、水质、压力、探测和接口
浸没式特定负载和极高密度流体、维护、兼容性和运维

应比较总成本、当地气候、水资源可用性、密度、模块化、部分负荷效率、并行维护、面积、噪声、制冷剂、泄漏风险和团队能力。单台设备最好的 COP,并不能保证系统整体的最佳表现。

热工容量规划与控制

必须针对室外设计条件、显热负荷、损耗、冗余和降级模式来验证容量。在没有确认曲线、水温和空气温度、海拔以及流量的情况下,把额定容量简单相加,只会造成虚假的信心。

验证项验收问题
热平衡是否已纳入所有热源和场景?
湿空气学(Psychrometrics)是否有针对结露和过度加湿的控制?
水力压降、阀门权威度和平衡是否已得到证明?
控制运行逻辑和设定值是否已复核?
故障与维护在所定义的事件下,温度是否仍可接受?
动态测试是否模拟了负载阶跃和切换?

指标:仅有装机容量是不够的。应按区域跟踪可用、已用和已承诺的容量,并始终考虑起限制作用的部件。

关键电气链路

典型的链路包括市电、中压、变压、配电盘、发电、切换、UPS、配电和机架。每个环节都必须在正常状态、维护、故障、应急和恢复正常的条件下加以分析。

部件功能关键风险
进线与中压接收、切换和保护电弧闪络、配合以及外部停电
变压器调整电压并隔离容量、温度、谐波和火灾
GMG应对长时间停电启动、燃料、排放和散热
ATS/STS切换电源和路径逻辑、同步和切换故障
UPS调理电能并维持切换过渡旁路、电池、过载和共模故障
PDU/RPP/母线槽配电和计量选择性、扩展和接线错误

发电机组与燃料

发电机必须同时满足稳态负载和瞬态阶跃,包括电机、UPS、充电、散热和辅助设备。分析必须考虑启动顺序、电压和频率跌落、短路容量、海拔、温度、燃料和排放。

主题标准
续航由风险、加油合同和危机场景界定
油罐可用容量、围堰、探测、输送和燃料质量
启动冗余的电池和充电器、预热和测试
并机控制、同步、负载分配和保护
维护通道、备件、负载箱和计划停机
排气与噪声背压、温度、扩散、声学和许可

有意义的测试:每周一次空载启动并不能证明整条链路。测试计划必须包括带载测试、电源故障、切换、稳定性、运行续航和恢复,并使用经校准的仪器和明确的标准。

UPS、电池与储能

技术优势关注点
双变换隔离负载,应用广泛损耗、旁路和部分负荷效率
模块化可扩展,可按模块维护共用的控制和母线故障
VRLA成熟且初始成本低温度、寿命、重量和监控
锂离子使用寿命、循环次数,以及更小的面积/重量BMS、热失控蔓延和消防策略
飞轮大功率和多次循环续航较短,且需与发电集成

为规划续航,需要考虑实际放电曲线、恒功率、最低电压、温度、老化、制造公差和增长余量。所需的续航不应凭习惯选定:它应覆盖从电源丢失到发电机稳定运行之间的时间,或者受控关机的策略。

安全:电池室和电池系统需要依据技术和适用法规,专门评估通风、探测、围堰、通道、个人防护装备(PPE)和应急响应。

保护、选择性与电能质量

电气研究必须包括潮流、短路、配合与选择性、压降、接地、浪涌保护、谐波,以及适用时的电弧闪络入射能量。这些研究需要反映所有运行模式,包括使用发电机时。

问题症状设计处理
谐波发热和畸变计量、滤波器、变压器和合适的导体
功率因数低占用容量并产生罚款协调的补偿,并分析谐振
瞬态复位或损坏级联的浪涌保护和等电位连接
缺乏选择性跳闸范围大于故障范围曲线、整定值和保护测试
不平衡发热和容量损失相位分配和监控

应在市电、发电、UPS、散热、配电和机架处规划电表。没有足够的颗粒度,就无法可靠地计算 PUE,也无法定位损耗、不平衡或闲置容量。

端到端连接

签订两份运营商合同并不能保证多样性。光纤可能共用同一根电线杆、管道、接线盒、建筑入口或机房。分析必须梳理物理路由、接入点(PoP)、meet-me 机房、交叉连接、有源设备和供电。

CARRIER 1 north physical entrance CARRIER 2 south physical entrance MEET-ME ROOM A segregated room MEET-ME ROOM B segregated room CORE A routing and edge CORE B routing and edge LEAF / ToR A-B uplinks to both cores
真正的物理多样性:独立的入口、meet-me 机房,以及一直延伸到 leaf 的核心。概念性表示,非实施图。
  • 独立且有文档记录的物理入口。
  • 当关键性要求时,设置相互隔离的 meet-me 机房。
  • 通往机房和机架的内部 A/B 路由。
  • 经过规划、接地并受保护的桥架和管道。
  • 永久性标识和竣工文档。
  • 光缆和铜缆测试,并出具验收报告。

布线与网络架构

层选项标准
园区与运营商单模光纤距离、路由、熔接、可用性和 SLA
内部骨干依据应用选择 OS2、OM4 或 OM5速率、距离和演进
水平布线铜缆或光纤长度、密度、PoE、EMI 和管理
核心/spine大容量和冗余故障域、收敛和自动化
Leaf/ToR/EoR服务器连接布线、端口、超订比和维护
OOB带外网络独立性、安全,以及故障期间的访问

光纤、端口、桥架和配线架的规划要为增长留出明确的余量。数据速率取决于标准、光模块、距离、光损耗和连接器。设计还必须把生产、管理、存储、安防和楼宇自动化网络分开。

消防

策略结合了预防、早期探测、防火分区、材料控制、灭火和响应。没有任何单一技术能消除风险。设计必须经有关部门批准,并与建筑、电气、散热和运维相协调。

层示例目标
预防整洁管理、热成像、维护、材料降低概率
探测点式、吸气式、热探测和告警早期识别并定位
被动防护防火分区、封堵和防火门限制蔓延
灭火喷淋/预作用、细水雾、洁净气体控制或扑灭
响应明确的 EPO、消防队、消防部门、连续性保护人员和服务

密封:当灭火剂的有效性取决于在封闭空间内的保持时,设计必须提供完整性、密封、泄压,并依据适用标准进行气密性测试。

物理安全与资产保护

区域典型控制
周界屏障、照明、探测和监控
接待区身份识别、授权、记录和陪同
技术区域访问权限配置、双因素认证和联锁
IT 机房最小权限、日志和客户隔离
机架与机笼锁具、封条、传感器和清单
介质与货运保管链、检查和安全销毁

对于 CCTV 和门禁,要界定覆盖范围、分辨率、保留期、时间同步、冗余、隐私和调查。门禁事件必须能够关联人员、凭证、门、摄像头和工单。防尾随(anti-passback)和人员捕集室(mantrap)需要应急和生命安全流程。

控制器、摄像头、BMS 和 DCIM 都属于数字资产:它们需要分段的网络、个人账户、在受支持处启用 MFA、加固、补丁管理、经过测试的备份,以及发送到受保护存储库的日志。

BMS、EPMS 与 DCIM

系统重点示例
BMS楼宇和环境自动化散热、泄漏、压力、门
EPMS电力与电能质量电表、断路器、UPS、GMG、趋势
DCIM数据中心的容量和资产机架、端口、电力、空间、工作流
ITSM/NOC事件、变更和服务工单、升级、SLA 和知识库
  • 每一条告警都需要优先级、延迟、回差和处理流程。
  • 应把由连锁反应引起的告警分组,以避免告警风暴。
  • 时间同步对因果分析是必须的。
  • 运维人员需要知道该做什么,而不仅仅是发生了什么。
  • 定期测试必须证明传感器、通信、逻辑和通知都有效。

有用的数据:历史趋势把监控变成管理——能够预判能效下降、电池退化、热饱和和负载不平衡。

施工模式

模式特点需管理的风险
设计-招标-施工(Design-bid-build)设计在施工合同签订之前完成接口和后期变更
设计-施工(Design-build)责任一体化需求治理和验证的独立性
EPC/交钥匙交付集中在单一承包商范围、性能和成本透明度
施工管理(Construction management)由管理方协调各个工作包各合同之间的整合和责任划分
模块化/预制场外制造FAT、运输、接口和装配

设计必须预见施工顺序、吊装、设备进场、存放、临时区域、通电、清洁、资产保护和未来的更换。在运行中的环境里,操作方法流程(MOP)、窗口、回滚和隔离都成为设计的一部分。

材料、施工与 QA/QC

材料必须满足机械、电气、热工、消防、防腐和维护方面的性能。“等效”替代只有在对规格、接口、认证、压降、效率、曲线和质保进行正式对比之后才能被接受。

专业检查点
土建与建筑标高、荷载、防水、封堵、饰面和清洁
电气力矩、标识、绝缘电阻、接地、保护和参数设置
机械清洁、冲洗、气密性、保温、平衡和排水
通信弯曲半径、隔离、认证、标识和竣工文档
自动化点位、量程、告警、故障安全、集成和历史记录
消防分区、探测器、接口、释放/流量以及法定文件

使用带有停止点(hold point)、见证点(witness point)、标准、证据和责任人的检验与测试计划。不要让待办事项处于未分类的状态:遗留问题清单(punch list)必须记录关键性、责任人、期限、是否阻碍验收以及关闭证据。

分级调试验收

调试验收(Commissioning)是一个从需求开始的性能保证过程,而不是最后一天做的测试。它验证文档、安装、启动、控制、容量以及系统之间的相互作用。

级别示例活动
L0——需求与设计评审 OPR、BoD、运行逻辑和可测试性
L1——工厂FAT、证书、检验和配置
L2——安装实物检查、力矩、线缆、管道和标识
L3——启动单机启动和功能测试
L4——系统容量、告警、冗余和运行模式
L5——综合连锁故障、市电丢失、全楼失电(black building)和恢复

综合系统测试(IST)必须使用经批准的脚本、前置条件、经校准的仪器、风险分析、中止标准、明确的角色、沟通和同步的数据采集。目标是展示行为和恢复,而不是触发一次失控的故障。

文档与交接

交付物最低内容
竣工文档(As-built)图纸、示意图、路由、清单和最终版本
运维与维护手册(O&M)手册、例行工作、限值、备件和联系人
研究报告短路、选择性、热工、水力和风险
配置设定值、固件、备份和通信矩阵
测试FAT、SAT、功能测试、IST 和遗留事项
培训内容、出勤、评估和模拟演练
资产标签、型号、序列号、质保、关键性和备件

黄金法则:不要接受一个仅仅“能开机”的系统。要接受一个其容量、保护、控制、告警、故障和恢复都有文档记录并经过演示的系统。

只有在有更新治理的情况下,BIM 模型、资产库和 DCIM 数据才有价值。要界定官方来源、责任人、频率、集成和审计。

关键运维

当变更、维护和知识缺乏控制时,设计的可靠性就会下降。成熟的运维结合了治理、流程、培训、沟通和持续改进。

流程核心控制
变更风险评估、审批、MOP、回滚和事后验证
维护按关键性、窗口、备件和证据进行规划
事件指挥、沟通、升级、记录和 RCA
容量按领域划分的当前、已承诺、已预留和预测容量
供应商SLA、访问、能力、备件和绩效
培训资质、模拟演练和内部重新认证

SOP 描述正常运行;MOP 描述计划内的干预;EOP 描述对异常事件的响应。它们都必须有前置条件、角色、带编号的步骤、停止点、验证和版本控制。

指标与能效

PUE 是数据中心总能耗与 IT 能耗之比。当边界、周期、计量和条件一致时,它才有用。它并不衡量可用性、碳排放、水、IT 生产力,也不衡量单台服务器的孤立能效。

指标用途注意事项
PUE基础设施的能源效率在等效的边界和周期下比较
WUE与运营相关的用水量明确方法和水资源背景
CUE与能源相关的排放取决于排放因子
可用性能够提供服务的时间明确排除项和范围
MTTR恢复速度不要掩盖重复发生的问题
搁浅容量(Stranded capacity)因另一项限制而闲置的资源分析电力、热工、空间和网络
  • 建立基线和计量质量。
  • 在提高设定值之前,先处理旁路、回流和辅助负载。
  • 使用顺序控制和变速运行。
  • 分批测试变更,设定限值并保留回滚。
  • 把节省转化为避免的成本和释放的容量。

AI、HPC 与液冷

带有服务器和彩色线缆的浸没式冷却槽
真实的服务器浸没式冷却系统。照片:Rolf Brink/Wikimedia Commons,CC BY-SA 4.0。

AI 负载把电力、网络和热量集中在少数机架里。挑战不再只是总容量,还包括瞬态、电能质量、物理配电、流量、回水温度、CDU 冗余,以及靠近电子设备的液体回路的维护。

主题设计问题
电力每个集群的峰值、爬坡和多样性如何?
网络什么拓扑、延迟、布线,以及光模块所需空间?
液体什么水质等级、温度、压力、品质和责任划分?
CDU冗余、热交换、泵、控制和旁通?
风险探测、围堰、无滴漏接头和响应?
运维如何在不停机的情况下排液、吹扫、维护和扩展?

即使第一阶段采用风冷,也要为高密度 POD 预留路由、技术区域、结构荷载、水力接口、电气容量和仪表。临时的改造往往会造成依赖和停机。

部署路线图

阶段可验证的产出
0. 战略BIA、自建/外购方案、站点备选清单和商业论证
1. 初步研究负载、面积、风险、概念、工期和预算
2. 概念设计架构、示意图、标准和估算
3. 基础设计与实施设计计算书、细节、规格、BoQ 和测试计划
4. 合同RFP、技术对标、责任划分和里程碑
5. 施工QA/QC、安全、变更和证据
6. 调试验收分级测试、IST、培训和遗留问题清单
7. 运维交接、基线、SLA、维护和改进

每个阶段都必须以验收标准收尾。设置关卡并不是为了增加官僚程序,而是为了防止关键的不确定性继续向前推进,进而演变成代价高昂的变更。未满足的需求必须得到纠正、正式作为风险接受,或从范围中移除并记录其影响。

RFP 与合同的检查清单

模块条目
范围边界、接口、包含项、排除项和责任划分
性能容量、续航、能效、可用性和环境
设计标准、交付物、评审、BIM/CAD 和变更控制
供货接受的品牌、等效性、FAT、物流、质保和备件
施工方案、安全、QA/QC、ITP、工期和运行中的环境
测试SAT、功能测试、负载箱、IST 和验收标准
运维培训、O&M、竣工文档、支持和 SLA
  • 比较技术偏离项,而不仅仅是总价。
  • 对能效、可用容量、冗余和续航进行归一化处理。
  • 评估交付周期、过时风险和本地支持。
  • 要求提供逐条的符合性矩阵。
  • 把付款与里程碑和性能证据挂钩。

运维就绪检查清单

问题预期证据
团队是否了解运行逻辑?有记录的培训和模拟演练
流程是否反映了竣工状态?经过评审并受版本控制的 SOP、MOP 和 EOP
告警是否有明确的响应方式?告警矩阵和应对手册(playbook)
关键备件是否齐备?清单、保管和补货
配置备份是否经过测试?已证明可以恢复
合同是否覆盖 7×24 的场景?SLA、联系人和升级机制
入驻之前是否有基线?已记录电力、热工、网络和环境

结果:只有当人员、流程、文档、工具和供应商能够运维和恢复基础设施时,数据中心才算就绪——而不仅仅是施工结束之时。

快速公式与换算

主题参考关系
三相功率P ≈ √3 × V × I × PF × 效率
能量kWh = kW × 小时数
热负荷1 kW ≈ 3,412 BTU/h
冷吨1 TR ≈ 3.517 kW 热量
PUE数据中心总能耗 ÷ IT 能耗
简单可用性MTBF ÷ (MTBF + MTTR)
复合增长未来容量 = 当前 × (1 + 增长率)^年数

上述关系是用于估算的简化。实施设计需要曲线、修正系数、环境条件、损耗、谐波、同时系数和规范性的标准。

概念性容量规划示例:IT 负载为 600 kW,五年内增长到 900 kW,模块化扩展单元为 150 kW。该策略可以在初始阶段部署 4 个活动模块 + 1 个冗余模块,并为未来的模块预留空间和一次侧基础设施。分析必须验证系统在维护和故障期间是否仍保持 N,以及辅助负载是否能跟上每个阶段。

推荐的技术参考资料

请务必查阅现行版本、所签约的范围以及当地的法律要求。以下参考资料为研究提供指引,但不能取代获取、通读,以及由合格专业人员的应用。

参考资料适用范围
ISO/IEC 22237数据中心设施与基础设施——概念、建筑、电力、环境、通信、安全和运维
ISO/IEC 30134数据中心关键绩效指标,包括 PUE
ASHRAE TC 9.9数据处理环境热工指南(Thermal Guidelines for Data Processing Environments)
Uptime Institute Tier Standard拓扑标准和认证计划
ANSI/TIA-942数据中心的通信基础设施
NFPA 70 / 75 / 76 / 855电气、IT 和通信设备保护,以及适用的储能系统
ABNT NBR 5410 / 14039 / 5419低压和中压电气装置及防雷
ABNT NBR 14565商业建筑和数据中心的结构化布线
ABNT NBR 17240 及适用的消防标准探测与报警,以及当地消防部门的要求

巴西的法律法规、ABNT 标准、消防部门指令和环境要求,必须针对项目所在地和日期加以确认。

结论

设计一座数据中心,就是管理各种后果。最佳方案不是堆砌最多冗余设备的方案,而是以连贯且可证明的方式把关键性、风险、架构、实施、测试和运维联系在一起的方案。

  • 举办需求与 BIA 研讨会。
  • 整合清单、容量和扩展期限。
  • 对站点和公用设施进行尽职调查。
  • 产出带有备选方案和 TCO 的概念设计。
  • 在签约之前定义调试验收标准。
  • 从一开始就规划交接和运维。

NGG Tech:为不能停机的企业打造的智能基础设施——以风险和性能为导向的战略、工程、部署、运维和演进。