GPU 集群监控怎么建基线：DCGM 指标、告警与故障证据
说明如何使用 NVIDIA DCGM 建立 GPU 集群资产、健康、利用率、错误、性能和作业关联基线，并与网络监控联动。
GPU 集群监控不能只看利用率和显存。设备错误、温度、功耗、降频、PCIe/NVLink 状态以及作业上下文共同决定一台节点是否健康；网络拥塞或数据供给不足也可能表现为 GPU 利用率下降。
NVIDIA Data Center GPU Manager（DCGM）提供数据中心 GPU 的管理与监控能力。落地时仍需要定义采集范围、告警阈值、资产关联、保留周期和处置流程，默认指标列表本身不是运维基线。
先统一资产与版本身份
为每张 GPU 关联服务器、机柜、序列标识、GPU 型号、驱动、固件、容器平台和业务资源池。节点更换 GPU 或主板后，资产关系必须同步更新，否则历史趋势会错误地延续到新设备。
监控平台同时保存 DCGM、驱动和采集组件版本。升级采集器后若指标定义或可用字段变化，应标记基线分界点。
指标分成健康、容量和业务三层
健康层关注不可纠正错误、温度、功耗、降频原因和互联状态；容量层关注 GPU 与显存利用、实例或作业占用；业务层关联训练步时、推理吞吐、尾部时延和失败重试。
阈值应结合具体 GPU、服务器散热和业务模式设定。短暂尖峰与持续异常的处置不同，告警要包含持续时间、影响设备和同节点对照。
把 GPU 与网络、存储指标对齐
多机训练中，GPU 等待可能来自 RDMA 重传、端口拥塞、NCCL 配置或存储读取。统一时间同步后，把 GPU 利用率、训练步时、网卡计数、交换机队列和存储延迟放在同一时间窗口比较。
若所有 GPU 同时下降，优先检查共享服务和网络；若只有单节点异常，检查该节点的拓扑、错误、温度和进程。相关性用于缩小范围，最终结论仍需日志和复测。
告警必须连接到处置与回归
为每类关键告警定义确认、隔离、排空、重启、硬件诊断和升级路径，并记录何时允许自动操作。不可纠正错误或反复掉卡不应仅通过重启清除告警。
新节点上线、维修返场和软件升级后复用同一套健康检查与短基准。月度复盘关注重复故障、长期低利用节点和阈值误报，而不是只统计告警数量。
数据保留要支持事后定位
高频指标适合短期保存，聚合趋势可以保留更久，但错误事件、版本变更和维修记录应能够跨维护周期查询。采样周期过长可能错过瞬时掉卡或温度尖峰。
故障工单应引用原始指标时间段、节点和作业，而不是只附一张截图。这样才能在相同错误再次出现时比较环境变化并判断是否为重复故障。