Essa é uma das belezas em IT: o quanto as disciplinas vão se sofisticando a cada dia!
Já estamos falando em plataformas e ferramentas específicas para cuidar de erros bugdet, SLOs e alertas dentro do mundo SRE.
Vide essa matéria da InfoWorld abordado esse tema:
https://www.infoworld.com/article/3684268/tools-to-manage-slos-and-error-budgets.html
Para quem acha que acontece apenas na sua empresa a proliferação descontrolada de alertas e falsos positivos, acho que é um "alento" saber que essa é uma dor generalizada:
"Like many fast-growing companies, we experienced alert fatigue and a growing number of false negatives, which impacted trust in our existing tools."
Fazer o fine tuning e filtrar aqui que realmente importa é um desafio de cada organização que o time de SRE e monitoramento precisa endereçar de acordo com a sua própria realidade.
E mais uma vez, não tem "solução de prateleira" (até onde eu conheça) para esse fine tuning, cada organização precisa avaliar seus processos internos e definir como efetuar esses ajustes finos na sua operação.
