Nanny ML : Monitoramento de modelos sem rótulos disponíveis

NannyML é uma biblioteca open source em Python projetada para o monitoramento de modelos de machine learning após o deployment, especialmente em situações onde os rótulos reais (ground truth) estão atrasados ou indisponíveis. É voltada para cientistas de dados, engenheiros de ML e equipes de MLOps que precisam identificar falhas silenciosas, deriva nos dados e acompanhar o desempenho dos modelos em produção.

Diferente de ferramentas tradicionais, NannyML permite estimar métricas de desempenho sem depender de rótulos reais, utilizando técnicas estatísticas avançadas. É especialmente útil em casos como scoring de crédito, detecção de fraudes ou sistemas de recomendação, onde os resultados verdadeiros só chegam dias ou semanas depois.

Principais benefícios:

• Estima desempenho sem rótulos reais
• Detecta drift nos dados e mudanças na importância das variáveis
• Gera relatórios visuais interativos para análise e diagnóstico

Quais são as principais funcionalidades do NannyML?

Estimativa de desempenho sem ground truth

Permite monitorar o desempenho do modelo em tempo real, mesmo sem feedback imediato:

• Utiliza métodos como CBPE (Confidence-Based Performance Estimation) e DLE (Direct Loss Estimation)
• Estima métricas como acurácia, precisão, recall ou perda
• Identifica quedas inesperadas de desempenho
• Ideal para ambientes com retorno tardio dos rótulos

Detecção de drift nos dados

Avalia se houve mudanças nas distribuições das variáveis de entrada:

• Monitora drift a nível de variável individual e conjunto de dados
• Usa métricas como Jensen-Shannon, PSI e distância de Wasserstein
• Destaca as variáveis mais afetadas
• Auxilia na decisão de retreinar o modelo

Comparação entre desempenho estimado e real

Após a chegada dos rótulos, compara as métricas reais com as estimativas anteriores:

• Analisa a precisão das estimativas
• Exibe curvas de desempenho real x estimado
• Permite ajustar estratégias de monitoramento com base em dados reais

Análise da importância das variáveis e qualidade dos dados

Ajuda a entender mudanças no comportamento do modelo:

• Acompanha mudanças na importância relativa das features
• Detecta dados ausentes, corrompidos ou inconsistentes
• Identifica possíveis causas de falhas nas previsões

Geração de relatórios e visualizações

Oferece ferramentas para análise interativa e documentação:

• Compatível com Jupyter Notebooks, exportação em HTML e dashboards locais
• Ideal para monitoramento contínuo com análise temporal
• Facilita a compreensão e comunicação de anomalias

Por que escolher o NannyML?

• Permite monitorar sem rótulos: essencial para aplicações com feedback atrasado
• Métodos estatísticos avançados: vai além das soluções tradicionais de monitoramento
• Open source e independente de framework
• Visualizações claras e diagnósticos explicativos
• Desenvolvido para ambientes reais de produção