设计一座数据中心,就是管理各种后果。最终的产品不是建筑本身,而是持续、安全地交付计算能力、连接和存储。本指南涵盖整条决策链——从商业论证和风险分析,到热工与电气工程、通信、防护、施工、调试验收和运维。
顺序始终如一:商业论证决定关键性;关键性决定需求;需求决定设计;设计通过测试来证明;运维则保持所达到的性能。跳过任何一步,都会把不确定性转移到施工阶段,在那里变更的代价更高,并危及工期。
关于本资料:文中给出的架构是参考示例,不能取代实施设计、技术报告、职业责任,也不能取代查阅适用标准的现行版本。冗余并不自动等同于可用性:结果取决于物理独立性、选择性、自动化、流程、综合测试和运维能力。
管理层摘要
本指南的每个部分都回答一项具体决策。请把这张表当作阅读地图:管理者应从前四行开始;工程团队应逐项研读各技术学科;运维团队应聚焦调试验收、文档和指标;采购团队应使用对照矩阵和检查清单来组织 RFP、技术对标和验收。
| 部分 | 内容 | 主要决策 |
|---|---|---|
| 基础 | 目标、类型和生命周期 | 自建、购买托管机房、边缘还是混合? |
| 需求与风险 | BIA、关键性、威胁和容忍度 | 哪种中断是可以接受的,代价是多少? |
| 可用性 | 等级、拓扑、维护和故障 | 哪种架构能满足业务? |
| 规划 | 容量、面积、密度和扩展 | 建多少、何时建、建在哪里? |
| 热工 | 气流、DX、冷冻水和液冷 | 如何稳定高效地带走热量? |
| 电气 | 电网、发电机组(GMG)、UPS、电池、ATS、PDU 和保护 | 如何把安全的电力送达 IT 负载? |
| 通信 | 路由、MMR、布线和拓扑 | 如何消除隐藏的依赖? |
| 防护与控制 | 消防、门禁、CCTV、BMS 和 DCIM | 如何检测、遏制和响应? |
| 施工与交付 | 材料、阶段、QA/QC 和调试验收 | 如何证明设计行得通? |
| 运维与未来 | SLA、维护、PUE、AI 与高密度 | 如何长期保持可靠性? |
什么是数据中心
数据中心是一组协调运作的空间、公用设施、控制系统和流程,用于支撑技术和通信设备。电力、散热和网络都是服务链;每个环节都需要容量、保护、监控和维护路径。
| 层 | 示例 | 典型故障 |
|---|---|---|
| 业务 | 服务、客户、法规、收入 | 关键性定义不当 |
| IT 与通信 | 计算、存储、网络、平台 | 需求超出容量 |
| 设施 | 电力、散热、消防、安防 | 单点故障 |
| 运维 | 人员、流程、备件和供应商 | 人为失误或响应延迟 |
原则:关键基础设施必须围绕需要存活的服务来设计,而不仅仅是围绕将要安装的设备。
完整的生命周期从战略和需求,经过初步研究、概念设计、基础设计与实施设计、合同、施工、测试、运维、优化,直到最后的扩展或退役。
类型与部署模式
| 模式 | 优势 | 关注点 |
|---|---|---|
| 企业自建 | 掌控力,以及与业务的整合 | CAPEX、规模和专业团队 |
| 托管机房(Colocation) | 速度、连接和共享基础设施 | 合同、责任划分和交叉连接 |
| 超大规模 | 规模、标准化和自动化 | 对电力、水和土地的需求高 |
| 边缘 | 低延迟,靠近用户 | 分散的站点、维护和物理安全 |
| 模块化/预制 | 工期和可重复性 | 土建接口、物流和扩展 |
| 混合 | 跨站点和云的灵活性 | 端到端的运维架构和可观测性 |
自建与外购的比较,必须纳入总成本、工期、监管风险、可用电力、连接、扩展能力、使用寿命、资金成本、人员配置、过时风险和合同灵活性。一间看似便宜的自有机房,可能需要不成比例的电气和热工改造;托管机房可以缩短交付周期,但需要 SLA、审计和退出计划。
- 梳理哪些负载不能离开站点,哪些可以分布部署。
- 至少为增长设定三种场景,并设定一种压力场景。
- 纳入停机成本,而不仅仅是 CAPEX 和月费。
- 明确每个环节由谁负责:公用设施、数据中心、机架、设备和应用。
需求的平衡
一个可行的项目需要平衡三类利益相关方:业务方界定什么必须持续运行;工程团队把它转化为容量、拓扑和性能;财务设定投资和运营的边界。这种平衡必须记录在设计基础文件(Basis of Design,BoD)中,包含假设、排除项和验收标准。
| 类别 | 核心问题 |
|---|---|
| 业务 | 哪些服务?谁会受影响?时间窗口多长?有哪些合同或法律义务? |
| 技术 | 初期和未来的负载?密度?续航?路由?可维护性? |
| 财务 | CAPEX、OPEX、应急预备金、资金成本、能源、维护和更新? |
| 运维 | 人员、7×24 覆盖、备件、供应商、流程和培训? |
业主项目需求(Owner's Project Requirements,OPR)文件整合了这一决策,必须包含:
- 项目目标和范围。
- 负载特征和增长期限。
- 可用性、安全和能效标准。
- 环境条件和运行限值。
- 计量、告警、集成和数据保留。
- 测试、文档、培训和质保。
BIA 与业务风险
业务影响分析(Business Impact Analysis)识别关键流程、依赖、最长可容忍停机时间和渐进式影响。RTO 指导恢复时间;RPO 指导最大可接受的数据丢失。它们不能取代设施分析,但可以避免基础设施凭感觉来规划容量。
| 影响 | 证据示例 | 处理方式 |
|---|---|---|
| 财务 | 收入损失、罚款、返工 | 按每小时和每次事件量化 |
| 运营 | 积压增加、生产力下降 | 对降级和恢复建模 |
| 法律/监管 | 期限、数据保留、安全 | 与法务和合规部门核实 |
| 声誉 | 客户流失、媒体、信任 | 使用情景和指标 |
| 生命/安全 | 医疗服务、应急、控制 | 最低容忍度和正式响应 |
概率和后果必须有历史数据、资产状况、暴露程度和现有控制措施作为依据。残余风险是缓解之后剩下的部分——接受它是风险责任人的决定,而不是设计上的疏漏。
示例:如果一次供电故障每小时会中断 30 万雷亚尔的业务,而可能的恢复时间为 4 小时,则直接的参考影响为 120 万雷亚尔——这还不包括罚款、形象和运营恢复。
内部与外部风险
| 领域 | 威胁 | 核查 |
|---|---|---|
| 选址 | 洪水、山体滑坡、外部火灾、飞机坠毁 | 地图、历史记录、暴露半径和勘察 |
| 公用设施 | 薄弱的电网、燃料、水、通信 | 可行性函件和物理路由 |
| 建筑 | 结构荷载、关键机房上方的水、振动 | 勘测和测试 |
| 消防 | 可燃物荷载、防火分区、探测 | 法定设计以及起因/蔓延分析 |
| 人员 | 不当访问、失误、缺乏培训 | 隔离、流程和培训 |
| 供应链 | 交付周期、专用备件、单一供应商 | 关键清单和战略库存 |
| 网络物理融合 | 暴露的 BMS/DCIM、弱凭据 | 分段、加固、备份和日志 |
- 带有责任人、期限和证据的风险登记册。
- 用于分析故障模式、影响和控制措施的 FMEA。
- 用于分析流程偏差的 HAZOP 或 What-if。
- 用于分析导致顶事件的各种组合的故障树。
- 用于直观呈现预防、事件和缓解的 Bow-tie(蝴蝶结)图。
不做过度简化的可用性
可用性是服务能够履行其功能的时间比例。对于可修复的部件,常用的近似公式为 A = MTBF / (MTBF + MTTR)。然而在数据中心里,共因依赖、人为失误、维护、控制系统和运维响应,使得系统层面的行为远比这个公式所暗示的复杂。
| 概念 | 实际含义 |
|---|---|
| N | 支撑设计负载所需的容量 |
| N+1 | 在所需之外多一个模块 |
| 2N | 两套完整且相互独立的系统 |
| 2(N+1) | 两套完整的系统,各自带有一份额外的备用 |
| 并行维护(Concurrent maintenance) | 有计划地移除一个部件或路径,而不中断负载 |
| 容错(Fault tolerance) | 一次故障不会导致关键负载立即中断 |
- 由同一配电盘供电的两台设备,并不构成独立的路径。
- 没有物理隔离的逻辑冗余,可能因单一事件而失效。
- 单电源线负载需要 STS 或特定的架构;双电源线负载必须采用一致的 A/B 配电。
- 电池的额定续航会随负载、温度、老化和放电方式而变化。
等级与参考标准
ISO/IEC 22237 系列依据整个生命周期中的可用性、安全和能效对基础设施分级。Uptime Institute 使用面向拓扑和运营表现的 Tier 标准。不同参考标准的级别和等级不应被视为自动等同:合同要求必须注明所采用的标准、版本、范围和证明方法。
| 意图 | 典型架构 | 验证问题 |
|---|---|---|
| 基本容量 | 单一路径和经过规划的部件 | 计划内维护是否需要停机? |
| 冗余部件 | 链路中的部分环节为 N+1 | 是否仍存在单一路径? |
| 可维护性 | 多路径和隔离 | 能否在带载的情况下维护每一个部件? |
| 容错 | 隔离和自动响应 | 一次孤立的故障是否会中断负载? |
警告:不要仅凭一张示意图就宣传认证、等级或 Tier。认证取决于相关项目、范围、文档、施工和/或运维,并由有关机构评估。
双路电气架构
A/B 原则会创建通往关键负载的两条供电路径。为使其有效,必须考虑电源、发电、变压、切换、UPS、配电、线缆、PDU 和设备接入。共用的部件必须被识别出来并说明理由——而不是在故障发生时才被发现。
- 维护期间以及在所定义的故障条件下的 N 容量。
- 在所有运行模式下的选择性和保护配合。
- 可测试的联锁和切换逻辑。
- 为防范火灾、水和人为干预而进行的物理隔离。
- 从市电到机架的计量点。
- 安全的旁路方案,以及恢复到正常状态。
从 IT 清单到设计功率
容量规划从设备清单、实测或声明的功率、同时系数、使用特征、增长和预留开始。铭牌功率不等于平均能耗——但设计也不能忽视峰值、瞬态、同时启动、电池充电和老化。
| 阶段 | 参考计算 |
|---|---|
| 初始 IT 负载 | 各设备之和 × 利用率和同时系数 |
| 增长 | 按年度或按安装批次划分的情景 |
| 机架容量 | 电气、热工、物理和地板的限值——取其中最低者 |
| IT 热负荷 | 大致等于稳态下耗散的电功率 |
| 基础设施 | IT + 散热 + 损耗 + 照明 + 辅助设备 |
| 预留 | 明确的余量,而不重复叠加保守系数 |
示例:100 个机架 × 8 kW = 800 kW 的 IT 负载。在设计 PUE 为 1.45 时,平均总参考功率将为 1.16 MW。电气系统仍然必须考虑故障模式、维护、启动和额定容量。
密度与机架策略
密度可以用 kW/机架、机房的 kW/m² 或每个计算单元来表示。平均值会掩盖热点:一间 8 kW/机架的机房里可能包含 30 kW 的孤岛。设计必须划分区域,定义每个机架的限值,并为液冷预留演进路径。
| 参考范围 | 典型应用 | 热工策略 |
|---|---|---|
| 最高 5 kW/机架 | 传统 IT 或低占用率 | 有序的通道和旁路控制 |
| 5 至 15 kW/机架 | 虚拟化和存储 | 封闭通道和带调节功能的设备 |
| 15 至 30 kW/机架 | 高密度计算和适度的加速器 | 行间/后门式,或高度受控的风冷 |
| 30 kW/机架以上 | HPC 和高密度 AI | 评估直接芯片冷却(direct-to-chip)、CDU 和工艺用水 |
这些范围仅供参考。决策取决于所需的流量、设备 ΔT、可用压力、布局、热容忍度和制造商规格。
- 宽度和深度要与设备和布线相适应。
- 留出通行、维护和部件拆卸的通道。
- 线缆管理不得阻挡排风。
- 盲板和开口封堵。
- 接地、等电位连接和标识。
选址
| 标准 | 尽职调查问题 |
|---|---|
| 电力 | 可靠容量?电压?外部冗余?并网交付周期?电能质量? |
| 通信 | 有几家运营商?路由是否真正多样化?入口是否相对? |
| 环境 | 气候、水、噪声、排放、许可、洪水和周边环境 |
| 土建 | 土壤、荷载、振动、高度、通道和设备物流 |
| 运维 | 劳动力、燃料、备件、安防和响应时间 |
| 扩展 | 面积、公用设施、分期、干扰以及施工期间的连续性 |
在既有建筑(改造类项目,brownfield)中,应进行竣工勘测,适用时进行扫描、荷载测试、配电盘和线缆检查、结构分析,并核查关键区域上方或旁边的水。看不见的约束往往决定了设计:竖井、排风路径、层高、地板荷载、消防或吊装通道。
热工基础
IT 设备消耗的几乎所有电能都会转化为热量。热工系统的任务是在源头捕获这些热量,输送并排放到环境中,同时使设备的进风保持在设定范围内。机房的平均温度并不能反映回流、旁路或热点。
| 现象 | 影响 | 控制措施 |
|---|---|---|
| 回流(Recirculation) | 热空气回到机架进风口 | 封闭、密封和合适的压力 |
| 旁路(Bypass) | 冷空气没有流经 IT 设备 | 流量调整、盲板和布局 |
| 混合(Mixing) | 降低 ΔT 和效率 | 对气流进行物理隔离 |
| 流量过低 | 进风温度升高 | 容量、风扇和畅通的路径 |
| 流量过大 | 浪费能源并产生不必要的压力 | 按需调节 |
环境参数
环境等级必须依据所安装的设备来界定。作为广泛使用的参考,ASHRAE TC 9.9 对 A1 至 A4 等级给出的推荐范围为 18 °C 至 27 °C;允许范围因等级而异,不应与长期运行的目标相混淆。湿度必须依据露点、结露风险、静电和腐蚀来管理。
| 参数 | 为什么要测量 | 最佳实践 |
|---|---|---|
| 进风温度 | IT 设备实际收到的空气 | 按机架和高度布置传感器,而不仅仅是装在墙上 |
| 湿度与露点 | 结露、静电放电(ESD)和腐蚀 | 趋势分析和一致的告警 |
| 压差 | 确认气流方向 | 在相关区域之间测量 |
| 颗粒物与腐蚀 | 电子设备的可靠性 | 过滤、密封,必要时使用腐蚀挂片 |
| 漏水 | 早期探测 | 按区域设置传感器并定期测试 |
磁带设备、电池和电力部件可能有不同的限值。以制造商的规格和质保条件为准。
冷却技术
| 方案 | 何时合适 | 关注点 |
|---|---|---|
| 直接膨胀式(DX) | 小型、模块化或分散的站点 | 制冷剂、距离、冗余和部分负荷效率 |
| 冷冻水 | 中大型规模,集中式 | 水泵、冷水机组、冷却塔/干冷器、水和控制 |
| 行间式(In-row) | 热点,以及靠近负载 | 机房内的水或制冷剂配管 |
| 后门式(Rear-door) | 改造和高密度 | 重量、软管、结露和维护 |
| 直接芯片冷却(Direct-to-chip) | 高密度 CPU 和 GPU | CDU、水质、压力、探测和接口 |
| 浸没式 | 特定负载和极高密度 | 流体、维护、兼容性和运维 |
应比较总成本、当地气候、水资源可用性、密度、模块化、部分负荷效率、并行维护、面积、噪声、制冷剂、泄漏风险和团队能力。单台设备最好的 COP,并不能保证系统整体的最佳表现。
热工容量规划与控制
必须针对室外设计条件、显热负荷、损耗、冗余和降级模式来验证容量。在没有确认曲线、水温和空气温度、海拔以及流量的情况下,把额定容量简单相加,只会造成虚假的信心。
| 验证项 | 验收问题 |
|---|---|
| 热平衡 | 是否已纳入所有热源和场景? |
| 湿空气学(Psychrometrics) | 是否有针对结露和过度加湿的控制? |
| 水力 | 压降、阀门权威度和平衡是否已得到证明? |
| 控制 | 运行逻辑和设定值是否已复核? |
| 故障与维护 | 在所定义的事件下,温度是否仍可接受? |
| 动态测试 | 是否模拟了负载阶跃和切换? |
指标:仅有装机容量是不够的。应按区域跟踪可用、已用和已承诺的容量,并始终考虑起限制作用的部件。
关键电气链路
典型的链路包括市电、中压、变压、配电盘、发电、切换、UPS、配电和机架。每个环节都必须在正常状态、维护、故障、应急和恢复正常的条件下加以分析。
| 部件 | 功能 | 关键风险 |
|---|---|---|
| 进线与中压 | 接收、切换和保护 | 电弧闪络、配合以及外部停电 |
| 变压器 | 调整电压并隔离 | 容量、温度、谐波和火灾 |
| GMG | 应对长时间停电 | 启动、燃料、排放和散热 |
| ATS/STS | 切换电源和路径 | 逻辑、同步和切换故障 |
| UPS | 调理电能并维持切换过渡 | 旁路、电池、过载和共模故障 |
| PDU/RPP/母线槽 | 配电和计量 | 选择性、扩展和接线错误 |
发电机组与燃料
发电机必须同时满足稳态负载和瞬态阶跃,包括电机、UPS、充电、散热和辅助设备。分析必须考虑启动顺序、电压和频率跌落、短路容量、海拔、温度、燃料和排放。
| 主题 | 标准 |
|---|---|
| 续航 | 由风险、加油合同和危机场景界定 |
| 油罐 | 可用容量、围堰、探测、输送和燃料质量 |
| 启动 | 冗余的电池和充电器、预热和测试 |
| 并机 | 控制、同步、负载分配和保护 |
| 维护 | 通道、备件、负载箱和计划停机 |
| 排气与噪声 | 背压、温度、扩散、声学和许可 |
有意义的测试:每周一次空载启动并不能证明整条链路。测试计划必须包括带载测试、电源故障、切换、稳定性、运行续航和恢复,并使用经校准的仪器和明确的标准。
UPS、电池与储能
| 技术 | 优势 | 关注点 |
|---|---|---|
| 双变换 | 隔离负载,应用广泛 | 损耗、旁路和部分负荷效率 |
| 模块化 | 可扩展,可按模块维护 | 共用的控制和母线故障 |
| VRLA | 成熟且初始成本低 | 温度、寿命、重量和监控 |
| 锂离子 | 使用寿命、循环次数,以及更小的面积/重量 | BMS、热失控蔓延和消防策略 |
| 飞轮 | 大功率和多次循环 | 续航较短,且需与发电集成 |
为规划续航,需要考虑实际放电曲线、恒功率、最低电压、温度、老化、制造公差和增长余量。所需的续航不应凭习惯选定:它应覆盖从电源丢失到发电机稳定运行之间的时间,或者受控关机的策略。
安全:电池室和电池系统需要依据技术和适用法规,专门评估通风、探测、围堰、通道、个人防护装备(PPE)和应急响应。
保护、选择性与电能质量
电气研究必须包括潮流、短路、配合与选择性、压降、接地、浪涌保护、谐波,以及适用时的电弧闪络入射能量。这些研究需要反映所有运行模式,包括使用发电机时。
| 问题 | 症状 | 设计处理 |
|---|---|---|
| 谐波 | 发热和畸变 | 计量、滤波器、变压器和合适的导体 |
| 功率因数低 | 占用容量并产生罚款 | 协调的补偿,并分析谐振 |
| 瞬态 | 复位或损坏 | 级联的浪涌保护和等电位连接 |
| 缺乏选择性 | 跳闸范围大于故障范围 | 曲线、整定值和保护测试 |
| 不平衡 | 发热和容量损失 | 相位分配和监控 |
应在市电、发电、UPS、散热、配电和机架处规划电表。没有足够的颗粒度,就无法可靠地计算 PUE,也无法定位损耗、不平衡或闲置容量。
端到端连接
签订两份运营商合同并不能保证多样性。光纤可能共用同一根电线杆、管道、接线盒、建筑入口或机房。分析必须梳理物理路由、接入点(PoP)、meet-me 机房、交叉连接、有源设备和供电。
- 独立且有文档记录的物理入口。
- 当关键性要求时,设置相互隔离的 meet-me 机房。
- 通往机房和机架的内部 A/B 路由。
- 经过规划、接地并受保护的桥架和管道。
- 永久性标识和竣工文档。
- 光缆和铜缆测试,并出具验收报告。
布线与网络架构
| 层 | 选项 | 标准 |
|---|---|---|
| 园区与运营商 | 单模光纤 | 距离、路由、熔接、可用性和 SLA |
| 内部骨干 | 依据应用选择 OS2、OM4 或 OM5 | 速率、距离和演进 |
| 水平布线 | 铜缆或光纤 | 长度、密度、PoE、EMI 和管理 |
| 核心/spine | 大容量和冗余 | 故障域、收敛和自动化 |
| Leaf/ToR/EoR | 服务器连接 | 布线、端口、超订比和维护 |
| OOB | 带外网络 | 独立性、安全,以及故障期间的访问 |
光纤、端口、桥架和配线架的规划要为增长留出明确的余量。数据速率取决于标准、光模块、距离、光损耗和连接器。设计还必须把生产、管理、存储、安防和楼宇自动化网络分开。
消防
策略结合了预防、早期探测、防火分区、材料控制、灭火和响应。没有任何单一技术能消除风险。设计必须经有关部门批准,并与建筑、电气、散热和运维相协调。
| 层 | 示例 | 目标 |
|---|---|---|
| 预防 | 整洁管理、热成像、维护、材料 | 降低概率 |
| 探测 | 点式、吸气式、热探测和告警 | 早期识别并定位 |
| 被动防护 | 防火分区、封堵和防火门 | 限制蔓延 |
| 灭火 | 喷淋/预作用、细水雾、洁净气体 | 控制或扑灭 |
| 响应 | 明确的 EPO、消防队、消防部门、连续性 | 保护人员和服务 |
密封:当灭火剂的有效性取决于在封闭空间内的保持时,设计必须提供完整性、密封、泄压,并依据适用标准进行气密性测试。
物理安全与资产保护
| 区域 | 典型控制 |
|---|---|
| 周界 | 屏障、照明、探测和监控 |
| 接待区 | 身份识别、授权、记录和陪同 |
| 技术区域 | 访问权限配置、双因素认证和联锁 |
| IT 机房 | 最小权限、日志和客户隔离 |
| 机架与机笼 | 锁具、封条、传感器和清单 |
| 介质与货运 | 保管链、检查和安全销毁 |
对于 CCTV 和门禁,要界定覆盖范围、分辨率、保留期、时间同步、冗余、隐私和调查。门禁事件必须能够关联人员、凭证、门、摄像头和工单。防尾随(anti-passback)和人员捕集室(mantrap)需要应急和生命安全流程。
控制器、摄像头、BMS 和 DCIM 都属于数字资产:它们需要分段的网络、个人账户、在受支持处启用 MFA、加固、补丁管理、经过测试的备份,以及发送到受保护存储库的日志。
BMS、EPMS 与 DCIM
| 系统 | 重点 | 示例 |
|---|---|---|
| BMS | 楼宇和环境自动化 | 散热、泄漏、压力、门 |
| EPMS | 电力与电能质量 | 电表、断路器、UPS、GMG、趋势 |
| DCIM | 数据中心的容量和资产 | 机架、端口、电力、空间、工作流 |
| ITSM/NOC | 事件、变更和服务 | 工单、升级、SLA 和知识库 |
- 每一条告警都需要优先级、延迟、回差和处理流程。
- 应把由连锁反应引起的告警分组,以避免告警风暴。
- 时间同步对因果分析是必须的。
- 运维人员需要知道该做什么,而不仅仅是发生了什么。
- 定期测试必须证明传感器、通信、逻辑和通知都有效。
有用的数据:历史趋势把监控变成管理——能够预判能效下降、电池退化、热饱和和负载不平衡。
施工模式
| 模式 | 特点 | 需管理的风险 |
|---|---|---|
| 设计-招标-施工(Design-bid-build) | 设计在施工合同签订之前完成 | 接口和后期变更 |
| 设计-施工(Design-build) | 责任一体化 | 需求治理和验证的独立性 |
| EPC/交钥匙 | 交付集中在单一承包商 | 范围、性能和成本透明度 |
| 施工管理(Construction management) | 由管理方协调各个工作包 | 各合同之间的整合和责任划分 |
| 模块化/预制 | 场外制造 | FAT、运输、接口和装配 |
设计必须预见施工顺序、吊装、设备进场、存放、临时区域、通电、清洁、资产保护和未来的更换。在运行中的环境里,操作方法流程(MOP)、窗口、回滚和隔离都成为设计的一部分。
材料、施工与 QA/QC
材料必须满足机械、电气、热工、消防、防腐和维护方面的性能。“等效”替代只有在对规格、接口、认证、压降、效率、曲线和质保进行正式对比之后才能被接受。
| 专业 | 检查点 |
|---|---|
| 土建与建筑 | 标高、荷载、防水、封堵、饰面和清洁 |
| 电气 | 力矩、标识、绝缘电阻、接地、保护和参数设置 |
| 机械 | 清洁、冲洗、气密性、保温、平衡和排水 |
| 通信 | 弯曲半径、隔离、认证、标识和竣工文档 |
| 自动化 | 点位、量程、告警、故障安全、集成和历史记录 |
| 消防 | 分区、探测器、接口、释放/流量以及法定文件 |
使用带有停止点(hold point)、见证点(witness point)、标准、证据和责任人的检验与测试计划。不要让待办事项处于未分类的状态:遗留问题清单(punch list)必须记录关键性、责任人、期限、是否阻碍验收以及关闭证据。
分级调试验收
调试验收(Commissioning)是一个从需求开始的性能保证过程,而不是最后一天做的测试。它验证文档、安装、启动、控制、容量以及系统之间的相互作用。
| 级别 | 示例活动 |
|---|---|
| L0——需求与设计 | 评审 OPR、BoD、运行逻辑和可测试性 |
| L1——工厂 | FAT、证书、检验和配置 |
| L2——安装 | 实物检查、力矩、线缆、管道和标识 |
| L3——启动 | 单机启动和功能测试 |
| L4——系统 | 容量、告警、冗余和运行模式 |
| L5——综合 | 连锁故障、市电丢失、全楼失电(black building)和恢复 |
综合系统测试(IST)必须使用经批准的脚本、前置条件、经校准的仪器、风险分析、中止标准、明确的角色、沟通和同步的数据采集。目标是展示行为和恢复,而不是触发一次失控的故障。
文档与交接
| 交付物 | 最低内容 |
|---|---|
| 竣工文档(As-built) | 图纸、示意图、路由、清单和最终版本 |
| 运维与维护手册(O&M) | 手册、例行工作、限值、备件和联系人 |
| 研究报告 | 短路、选择性、热工、水力和风险 |
| 配置 | 设定值、固件、备份和通信矩阵 |
| 测试 | FAT、SAT、功能测试、IST 和遗留事项 |
| 培训 | 内容、出勤、评估和模拟演练 |
| 资产 | 标签、型号、序列号、质保、关键性和备件 |
黄金法则:不要接受一个仅仅“能开机”的系统。要接受一个其容量、保护、控制、告警、故障和恢复都有文档记录并经过演示的系统。
只有在有更新治理的情况下,BIM 模型、资产库和 DCIM 数据才有价值。要界定官方来源、责任人、频率、集成和审计。
关键运维
当变更、维护和知识缺乏控制时,设计的可靠性就会下降。成熟的运维结合了治理、流程、培训、沟通和持续改进。
| 流程 | 核心控制 |
|---|---|
| 变更 | 风险评估、审批、MOP、回滚和事后验证 |
| 维护 | 按关键性、窗口、备件和证据进行规划 |
| 事件 | 指挥、沟通、升级、记录和 RCA |
| 容量 | 按领域划分的当前、已承诺、已预留和预测容量 |
| 供应商 | SLA、访问、能力、备件和绩效 |
| 培训 | 资质、模拟演练和内部重新认证 |
SOP 描述正常运行;MOP 描述计划内的干预;EOP 描述对异常事件的响应。它们都必须有前置条件、角色、带编号的步骤、停止点、验证和版本控制。
指标与能效
PUE 是数据中心总能耗与 IT 能耗之比。当边界、周期、计量和条件一致时,它才有用。它并不衡量可用性、碳排放、水、IT 生产力,也不衡量单台服务器的孤立能效。
| 指标 | 用途 | 注意事项 |
|---|---|---|
| PUE | 基础设施的能源效率 | 在等效的边界和周期下比较 |
| WUE | 与运营相关的用水量 | 明确方法和水资源背景 |
| CUE | 与能源相关的排放 | 取决于排放因子 |
| 可用性 | 能够提供服务的时间 | 明确排除项和范围 |
| MTTR | 恢复速度 | 不要掩盖重复发生的问题 |
| 搁浅容量(Stranded capacity) | 因另一项限制而闲置的资源 | 分析电力、热工、空间和网络 |
- 建立基线和计量质量。
- 在提高设定值之前,先处理旁路、回流和辅助负载。
- 使用顺序控制和变速运行。
- 分批测试变更,设定限值并保留回滚。
- 把节省转化为避免的成本和释放的容量。
AI、HPC 与液冷
AI 负载把电力、网络和热量集中在少数机架里。挑战不再只是总容量,还包括瞬态、电能质量、物理配电、流量、回水温度、CDU 冗余,以及靠近电子设备的液体回路的维护。
| 主题 | 设计问题 |
|---|---|
| 电力 | 每个集群的峰值、爬坡和多样性如何? |
| 网络 | 什么拓扑、延迟、布线,以及光模块所需空间? |
| 液体 | 什么水质等级、温度、压力、品质和责任划分? |
| CDU | 冗余、热交换、泵、控制和旁通? |
| 风险 | 探测、围堰、无滴漏接头和响应? |
| 运维 | 如何在不停机的情况下排液、吹扫、维护和扩展? |
即使第一阶段采用风冷,也要为高密度 POD 预留路由、技术区域、结构荷载、水力接口、电气容量和仪表。临时的改造往往会造成依赖和停机。
部署路线图
| 阶段 | 可验证的产出 |
|---|---|
| 0. 战略 | BIA、自建/外购方案、站点备选清单和商业论证 |
| 1. 初步研究 | 负载、面积、风险、概念、工期和预算 |
| 2. 概念设计 | 架构、示意图、标准和估算 |
| 3. 基础设计与实施设计 | 计算书、细节、规格、BoQ 和测试计划 |
| 4. 合同 | RFP、技术对标、责任划分和里程碑 |
| 5. 施工 | QA/QC、安全、变更和证据 |
| 6. 调试验收 | 分级测试、IST、培训和遗留问题清单 |
| 7. 运维 | 交接、基线、SLA、维护和改进 |
每个阶段都必须以验收标准收尾。设置关卡并不是为了增加官僚程序,而是为了防止关键的不确定性继续向前推进,进而演变成代价高昂的变更。未满足的需求必须得到纠正、正式作为风险接受,或从范围中移除并记录其影响。
RFP 与合同的检查清单
| 模块 | 条目 |
|---|---|
| 范围 | 边界、接口、包含项、排除项和责任划分 |
| 性能 | 容量、续航、能效、可用性和环境 |
| 设计 | 标准、交付物、评审、BIM/CAD 和变更控制 |
| 供货 | 接受的品牌、等效性、FAT、物流、质保和备件 |
| 施工 | 方案、安全、QA/QC、ITP、工期和运行中的环境 |
| 测试 | SAT、功能测试、负载箱、IST 和验收标准 |
| 运维 | 培训、O&M、竣工文档、支持和 SLA |
- 比较技术偏离项,而不仅仅是总价。
- 对能效、可用容量、冗余和续航进行归一化处理。
- 评估交付周期、过时风险和本地支持。
- 要求提供逐条的符合性矩阵。
- 把付款与里程碑和性能证据挂钩。
运维就绪检查清单
| 问题 | 预期证据 |
|---|---|
| 团队是否了解运行逻辑? | 有记录的培训和模拟演练 |
| 流程是否反映了竣工状态? | 经过评审并受版本控制的 SOP、MOP 和 EOP |
| 告警是否有明确的响应方式? | 告警矩阵和应对手册(playbook) |
| 关键备件是否齐备? | 清单、保管和补货 |
| 配置备份是否经过测试? | 已证明可以恢复 |
| 合同是否覆盖 7×24 的场景? | SLA、联系人和升级机制 |
| 入驻之前是否有基线? | 已记录电力、热工、网络和环境 |
结果:只有当人员、流程、文档、工具和供应商能够运维和恢复基础设施时,数据中心才算就绪——而不仅仅是施工结束之时。
快速公式与换算
| 主题 | 参考关系 |
|---|---|
| 三相功率 | P ≈ √3 × V × I × PF × 效率 |
| 能量 | kWh = kW × 小时数 |
| 热负荷 | 1 kW ≈ 3,412 BTU/h |
| 冷吨 | 1 TR ≈ 3.517 kW 热量 |
| PUE | 数据中心总能耗 ÷ IT 能耗 |
| 简单可用性 | MTBF ÷ (MTBF + MTTR) |
| 复合增长 | 未来容量 = 当前 × (1 + 增长率)^年数 |
上述关系是用于估算的简化。实施设计需要曲线、修正系数、环境条件、损耗、谐波、同时系数和规范性的标准。
概念性容量规划示例:IT 负载为 600 kW,五年内增长到 900 kW,模块化扩展单元为 150 kW。该策略可以在初始阶段部署 4 个活动模块 + 1 个冗余模块,并为未来的模块预留空间和一次侧基础设施。分析必须验证系统在维护和故障期间是否仍保持 N,以及辅助负载是否能跟上每个阶段。
推荐的技术参考资料
请务必查阅现行版本、所签约的范围以及当地的法律要求。以下参考资料为研究提供指引,但不能取代获取、通读,以及由合格专业人员的应用。
| 参考资料 | 适用范围 |
|---|---|
| ISO/IEC 22237 | 数据中心设施与基础设施——概念、建筑、电力、环境、通信、安全和运维 |
| ISO/IEC 30134 | 数据中心关键绩效指标,包括 PUE |
| ASHRAE TC 9.9 | 数据处理环境热工指南(Thermal Guidelines for Data Processing Environments) |
| Uptime Institute Tier Standard | 拓扑标准和认证计划 |
| ANSI/TIA-942 | 数据中心的通信基础设施 |
| NFPA 70 / 75 / 76 / 855 | 电气、IT 和通信设备保护,以及适用的储能系统 |
| ABNT NBR 5410 / 14039 / 5419 | 低压和中压电气装置及防雷 |
| ABNT NBR 14565 | 商业建筑和数据中心的结构化布线 |
| ABNT NBR 17240 及适用的消防标准 | 探测与报警,以及当地消防部门的要求 |
巴西的法律法规、ABNT 标准、消防部门指令和环境要求,必须针对项目所在地和日期加以确认。
结论
设计一座数据中心,就是管理各种后果。最佳方案不是堆砌最多冗余设备的方案,而是以连贯且可证明的方式把关键性、风险、架构、实施、测试和运维联系在一起的方案。
- 举办需求与 BIA 研讨会。
- 整合清单、容量和扩展期限。
- 对站点和公用设施进行尽职调查。
- 产出带有备选方案和 TCO 的概念设计。
- 在签约之前定义调试验收标准。
- 从一开始就规划交接和运维。
NGG Tech:为不能停机的企业打造的智能基础设施——以风险和性能为导向的战略、工程、部署、运维和演进。