Prometheus 目标消失却没有告警:用预期清单补齐 up == 0 的盲区
适用场景与故障现象 本文针对需要长期存在的固定采集端点,例如两个数据库 exporter、支付网关或边缘设备。示例只有一个 Prometheus、一个 payments job,端点为 pay-a:9100 和 pay-b:9100。主机名是演示值,接入前替换为实际地址。 典型现象是:服务停止时,up == 0 可以告
Tag
包含这个标签的文章。
适用场景与故障现象 本文针对需要长期存在的固定采集端点,例如两个数据库 exporter、支付网关或边缘设备。示例只有一个 Prometheus、一个 payments job,端点为 pay-a:9100 和 pay-b:9100。主机名是演示值,接入前替换为实际地址。 典型现象是:服务停止时,up == 0 可以告
适用场景 这篇文章适合已经使用 Prometheus 和 Alertmanager,但值班群里经常出现同一告警在几分钟内“触发—恢复—再次触发”的团队。典型场景包括: 接口错误率在阈值附近上下波动; 抓取偶发失败,表达式短暂返回空向量; 应用滚动发布后计数器重置,瞬时比率失真; 规则计算过慢或远端数据到达较晚,评估结果
适用场景 本文适用于 Prometheus 通过 remote_write 把指标发送到 Thanos Receive、Grafana Mimir、VictoriaMetrics 或其他远端存储的场景。典型问题是本地抓取仍然正常,Prometheus 查询近期数据也没有明显异常,但远端查询、告警或长期存储中的数据逐渐落
适用场景 本文适用于 Prometheus 根据错误率、延迟、资源使用率等指标触发告警,并通过 Alertmanager 发送通知的场景。典型问题是:指标在阈值附近波动,告警几分钟内反复触发和恢复;短暂采集缺口被误判为恢复;值班人员收到大量重复通知,却难以判断故障是否真正结束。 目标不是简单地“把告警调迟”,而是分别处
适用场景 本文适用于 Prometheus 运行一段时间后出现以下现象的场景: Prometheus 数据目录持续膨胀,磁盘空间很快被打满; prometheus_tsdb_head_series、prometheus_tsdb_head_chunks 持续上涨; 查询变慢,Prometheus 重启时间明显变长; 日