04 / Operations

监控的价值
不在看见,在自动做对

大屏再炫,也只是把数据搬到了墙上。真正的分水岭是:系统发现 PUE 升高后,有没有能力自己把冷冻水温度调回去。

Topology

设备拓扑 · 点一点看它坏了会发生什么

Chart

24 小时 PUE 曲线 · 联动优化的收益从哪来

日均 PUE
—
峰值 PUE
—
日省电
—
年省电费
—

模型:制冷能耗随室外温度线性变化;联动优化通过提升冷冻水供水温度、调整风机转速与自然冷却切换点,把 PUE 曲线压平。差值按 1MW IT 负载、0.65 元/kWh 估算。

Practice

告警收敛:从 3000 条到 12 条

一座中型机房的动环系统,动辄几千个点位。如果每个点位独立告警、独立推送,值班工程师会在第一个月就把通知全部静音——这比没有监控更危险。

合理的做法是三层收敛:

  • 设备层:同一设备的多个点位合并为一条设备级状态,只在状态跃变时产生事件。
  • 系统层:按供配电、制冷、消防分组,组内取最严重级别,组间不重复推送。
  • 业务层:只有"会影响 IT 负载"的事件才升级为工单,其余进入巡检清单。

做完这三层,一座机房的日均有效告警能从几千条降到十几条,而且每一条都指向一个具体动作。这才是运维想要的。

告警的价值不是"响得勤",是"响得准"。每一条都该对应一个能执行的动作,否则它就是噪声。

必须盯住的六个指标

指标采集位置关注点
机柜进风温度柜前进风口(上/中/下三点)差异 > 3K 说明气流组织有问题
回风温度CRAH 回风口与进风温差反映实际热负荷
支路电流列头柜 / 智能母线三相不平衡度、单柜实际功率
冷冻水供回水温差CDU / 主管温差过小意味着流量浪费
UPS 负载率UPS 输出长期低于 30% 时效率骤降
PUE(滚动 1h)总进线 + IT 分项计量异常抬升优先查自然冷却切换