B站监控2.0架构落地实践

文章预览

背景 众所周知，Metrics指标数据是可观测重要的基石之一，在2021年底的时候，B站基于Promtheus+Thanos 方案，完成了统一监控平台的落地。但随着B站业务迅猛发展，指标数据级也迎来了爆炸式增长，不仅给现有监控系统的稳定(可用性, 云上监控数据质量等)带来冲击，也无法满足公司层面可观测稳定性建设(1-5-10)目标。当前架构面临的痛点总结如下： 稳定性差： 由于当时告警计算是基于Promtheus本地计算的，target监控实例在调度时，一个应用的所有实例必须要被同一个Promtheus采集,每当一些大应用发布时，pod name 等一些元数据指标label就会发生变化，重新构建timeseries 索引时，会占用大量内存，导致Promtheus oom。 用户查询体验差： 频发的oom告警，经常导致数据断点，再加上Promtheus+Thanos 查询性能性能有限，经常出现面板查询慢/超时，open api 查询失败，误告 ………………………………