Medindo defeitos de aderência às rotas antes de mudar a produção
Investiguei relatos sobre aderência às rotas antes de propor uma mudança. Consultas de leitura em produção e reproduções em staging mostraram que meu primeiro critério era amplo demais; revisei a medição e usei os resultados para orientar correções específicas. As contagens são de populações diferentes, e a tendência pós-release era uma medida do time.
Contexto
Relatos de clientes apontavam valores de aderência às rotas que pareciam incorretos. Antes de mudar o comportamento em produção, eu queria separar defeitos de comportamentos esperados do produto.
Problema
A primeira consulta agrupava defeitos reais, rotas vazias que exibiam zero corretamente e dados de tenants de teste. Outra comparação marcava valores que mudariam sem provar que estavam errados. Uma correção ampla poderia alterar dados válidos.
Raciocínio
Comparei resultados somente de leitura em produção com reproduções controladas em staging. Ao revisar os ciclos candidatos, percebi que meu critério era amplo demais; ajustei a regra e refiz a análise. Registrei o resultado esperado antes de cada reprodução e usei uma rota de controle.
04Correções
Depois da investigação, dividi o trabalho em correções pequenas, cada uma para uma causa e com teste de regressão. A proposta passou de uma correção histórica ampla para mudanças específicas em defeitos demonstráveis.
Resultado
A comparação posterior cobriu 34.320 ciclos. Ao rever 4.842 candidatos com o critério mais restrito, restaram 88 defeitos demonstráveis. Essa análise é distinta da revisão de 120 dias. O indicador de Data Quality após as releases era do time e incluiu outras contribuições; não o atribuo isoladamente ao meu trabalho.