跳转到主内容
趣航编程网 - 趣学编程,启航技术之路!

基于Go与Grafana搭建长连接丢包监控

长连接丢包监控需Go服务主动上报指标,Grafana仅作可视化;推荐监控连接稳定性替代指标(如心跳失败率),用CounterVec安全打点并注意goroutine隔离;排查“No data”须优先检查Prometheus抓取状态、标签一致性及数据源配置。 长连接丢包监控不能靠 grafana 单独实现 —— 它没有网络层抓包能力,也看不到 tcp 重传、rto 超时或 fin/rst 异常。你得先让 go 服务自己感知并上报丢包相关指标,再经 prometheus 抓取,grafana 才能画图。 Go 里怎么定义“丢包”这个概念 HTTP 或 gRPC 等上层协议不暴露 TCP 层丢包,所以你要么: 在业务逻辑层定义“丢包”:比如 WebSocket 心跳超时未响应、gRPC stream 中断后重连次数、MQTT PUBACK 未收到等,这类是 语义丢包 ,可直接用
prometheus.NewCounterVec
打点 绕过应用层,用 eBPF 或
netstat -s
定期采集系统级 TCP 指标(如
TcpRetransSegs
),但需额外 daemon 进程,且无法关联到具体 Go 服务实例 放弃“真实丢包”,转而监控 连接稳定性替代指标 :重连次数、平均空闲时长、心跳失败率、write timeout 错误数(
write: broken pipe
或
use of closed network connection
) 生产环境推荐第三种 —— 成本低、可归因、PromQL 易聚合。例如:
http_requests_total{job="ws-gateway", status=~"5.."} # 服务端主动断连返回 503
go_net_conn_close_total{reason="timeout"} # 自定义指标:记录 close 原因为 timeout 的连接数
如何在 Go 中安全暴露心跳失败率指标 WebSocket/gRPC stream 场景下,心跳失败 ≠ 网络丢包,但它是最易观测、最有业务意义的 proxy。关键陷阱是: 别在 handler goroutine 里直接打点 ,否则高并发下竞争写指标会 panic。 用
prometheus.NewCounterVec
注册带标签的计数器,标签至少包含
endpoint
和
reason
心跳检测逻辑必须独立 goroutine 运行,失败时调用
.WithLabelValues("chat", "no_pong").Inc()
避免在
http.HandleFunc
或
stream.Recv()
中同步调用
.Inc()
,尤其不要跨多个 goroutine 共享同一
CounterVec
实例而不加锁(
prometheus.Counter
本身线程安全,但
WithLabelValues
返回的子指标不是) 如果使用
gorilla/websocket
,记得在
SetPingHandler
里只做标记,真正打点放在超时检查 goroutine 中 Grafana 查询时为什么 rate() 总是 0 即使指标已出现在 Prometheus 表达式浏览器里,Grafana 面板仍显示空值,大概率是 PromQL 写错或数据源时间范围不匹配:
rate(ws_heartbeat_failures_total{job="api"}[5m])
要求过去 5 分钟内至少有 2 次 scrape,否则 rate 返回 0 —— 检查 Prometheus 的
scrape_interval
是否设为
15s
或更短 标签不一致:
ws_heartbeat_failures_total{endpoint="chat"}
和
ws_heartbeat_failures_total{endpoint="chat-api"}
是两个 series,聚合时漏掉
by (endpoint)
就查不到 Grafana 面板右上角时间范围选了 “Last 5 minutes”,但 Prometheus 刚启动不到 5 分钟,实际无数据;换成 “Now-1h” 更可靠 没启用
exemplars
且采样率低,
rate()
在稀疏数据下可能插值失败 —— 可临时改用
increase()
验证原始数据是否存在 为什么 dashboard 显示 “No data” 却查不到错误 这往往卡在数据链路中间某处,比 Grafana 配置更值得优先排查: Prometheus Targets 页面里,你的 Go 服务状态是
DOWN
还是
UP
?如果是
DOWN
,点开
scrape error
看具体报错:常见是 Go 服务监听了
127.0.0.1:8080
,而 Prometheus 容器里访问
localhost:8080
根本不通 在 Prometheus 表达式浏览器里直接输入
ws_heartbeat_failures_total
,有没有数据点?没有就说明 Go 没注册或没打点,别调 Grafana Grafana 数据源配置里的 URL 是
http://prometheus:9090
还是
http://host.docker.internal:9090
?Docker for Mac/Windows 下用
localhost
会失败 Go 服务里是否误调了
prometheus.Unregister()
清掉了自定义指标?默认注册表一旦清空,
/metrics
就只剩 runtime 指标 真正难调试的是心跳超时阈值和网络抖动的耦合 —— 同一个
5s
心跳间隔,在弱网环境下可能频繁触发 false positive,这时需要加滑动窗口统计或结合 RTT 指标做动态调整,而不是只看单一 counter。

相关文章