ALÉM DO CARIMBO

Logo_ADC

O algoritmo também envelhece: o que é a deriva de modelo e por que uma IA validada na inspeção precisa de vigilância contínua

Por

alemdocarimbo
5–8 minutos

–

Imagine uma câmera com inteligência artificial instalada numa linha de abate de aves. Antes de entrar em operação, ela foi testada com milhares de imagens, comparada com o julgamento de inspetores experientes e aprovada com bons números. Um ano depois, a planta troca as lâmpadas da sala, passa a receber lotes de outra linhagem genética e muda o fornecedor de ração. Ninguém mexe no algoritmo. A pergunta é: a câmera continua tão boa quanto no dia em que foi validada?

A resposta honesta é: não dá para saber sem medir de novo. E é exatamente sobre isso que trata um conceito pouco discutido fora dos círculos de ciência de dados, mas decisivo para quem pretende usar IA na inspeção: a deriva de modelo.

O conceito, em camadas

Para qualquer pessoa: um modelo de IA aprende com exemplos do passado. Se o mundo muda e o modelo não, ele começa a errar mais — sem avisar. É como um inspetor treinado em uma única planta, com um único tipo de animal, que é transferido para outra realidade sem nenhuma reciclagem. A competência que ele tinha era real, mas valia para aquele contexto.

Agora, o detalhe técnico. A literatura de aprendizado de máquina costuma separar dois fenômenos.

O primeiro é a mudança nos dados de entrada, chamada de deriva de dados ou mudança de covariáveis. A imagem que chega à câmera fica diferente: outra iluminação, outra lente, outro ângulo, outra velocidade de linha, carcaças de outro tamanho ou cor de pele. O que o modelo deveria reconhecer continua o mesmo, mas a aparência dos dados mudou.

O segundo é a mudança no próprio conceito, a deriva de conceito. A relação entre o que o modelo vê e a resposta correta se altera. Isso pode acontecer quando muda a norma, o critério de destinação de uma lesão ou a definição do que conta como contaminação. Uma revisão clássica sobre o tema, publicada em 2014 na ACM Computing Surveys por João Gama e colaboradores, descreve a deriva de conceito justamente como a mudança, ao longo do tempo, da relação entre os dados de entrada e a variável que se quer prever.

Há ainda um terceiro efeito, mais silencioso: a mudança na frequência do problema. Mesmo que sensibilidade e especificidade fiquem estáveis, quando a prevalência de um defeito cai ou sobe, muda a proporção de alertas que são verdadeiros. Um modelo que parecia útil numa planta com muitos casos pode virar uma máquina de alarmes falsos numa planta com poucos.

Como funciona na prática

Os principais referenciais internacionais de gestão de IA já tratam o desempenho como algo que precisa ser acompanhado durante toda a vida do sistema, e não apenas comprovado uma vez.

O Marco de Gestão de Riscos de IA do NIST, o instituto de padrões dos Estados Unidos, publicado em janeiro de 2023, alerta que sistemas de IA podem ser treinados com dados que mudam ao longo do tempo, às vezes de forma significativa e inesperada. O documento afirma que a validade e a confiabilidade costumam ser avaliadas por testes ou monitoramento contínuos que confirmem que o sistema está funcionando como pretendido.

O Regulamento Europeu de IA, o AI Act (Regulamento UE 2024/1689), exige que os fornecedores de sistemas classificados como de alto risco mantenham um sistema de monitoramento pós-comercialização, coletando e analisando dados de desempenho ao longo de toda a vida útil do sistema. O mesmo texto pede que esses sistemas tenham desempenho consistente durante todo o seu ciclo de vida. Atenção: nem toda ferramenta usada em segurança dos alimentos se enquadra automaticamente como de alto risco; isso depende da classificação prevista no regulamento.

Na área de dispositivos médicos, a FDA publicou em agosto de 2025 a versão final de sua orientação sobre o Plano de Controle de Mudanças Predeterminado para software com IA. A ideia é que o fabricante descreva antecipadamente quais modificações pretende fazer no modelo, como vai desenvolvê-las e validá-las, e qual o impacto esperado em benefícios e riscos. Não se aplica a alimentos, mas é uma referência útil: mostra que reguladores já tratam o retreinamento como algo que precisa de plano, e não de improviso.

Há também a norma ISO/IEC 42001:2023, que estabelece requisitos para um sistema de gestão de IA nas organizações.

No Brasil, não há, até onde foi possível verificar, uma norma específica sobre monitoramento de desempenho de ferramentas de IA usadas em inspeção de produtos de origem animal. Isso torna ainda mais importante que estabelecimentos e serviços de inspeção que adotem essas tecnologias definam como vão acompanhá-las — e que essa definição faça parte do autocontrole.

Erros comuns de entendimento

“Foi validado, então está garantido.” Validação é uma fotografia, não um atestado vitalício. Ela vale para as condições em que foi feita.

“Se o modelo piorar, alguém vai perceber.” Nem sempre. Um aumento de falsos negativos — o defeito que passa sem alerta — é justamente o tipo de erro que ninguém vê, porque não gera alarme. É o problema que o canal já discutiu ao falar do viés de automação: quando a máquina olha, o humano pode parar de olhar.

“Basta retreinar de vez em quando.” Retreinar sem critério pode piorar o modelo, introduzir vieses novos ou apagar o que funcionava. Retreinamento é uma mudança no sistema e precisa ser validado como tal.

“Deriva é problema do fornecedor.” O fornecedor responde pelo produto, mas quem conhece as mudanças da planta é quem opera. Uma troca de iluminação, de linhagem ou de procedimento raramente chega espontaneamente ao fornecedor do algoritmo.

O que fazer: um roteiro mínimo para RT, qualidade e inspeção

  • Registrar as condições de validação: equipamento, iluminação, velocidade de linha, perfil dos lotes, período e prevalência observada.
  • Manter uma amostra de verificação humana contínua, com casos conferidos de forma independente, para medir acertos e erros ao longo do tempo.
  • Definir indicadores e limites de alerta: taxa de falsos negativos, taxa de alertas, concordância com o inspetor.
  • Tratar mudanças na planta como gatilho de reavaliação: nova linhagem, novo fornecedor, nova câmera, reforma, mudança de norma.
  • Exigir do fornecedor um plano de atualização: o que muda, como é validado, como a planta é avisada.
  • Documentar tudo no autocontrole, com responsável definido.

Em resumo

  • Todo modelo de IA aprende com o passado; quando o contexto muda, o desempenho pode cair sem aviso.
  • Deriva de dados, deriva de conceito e mudança de prevalência são riscos distintos e reais na inspeção.
  • NIST, AI Act e FDA tratam o monitoramento contínuo como parte da vida do sistema, não como opcional.
  • No Brasil, a responsabilidade de acompanhar recai hoje sobre quem adota a ferramenta.
  • O algoritmo vê o que foi treinado para ver. A inspeção precisa verificar, todos os dias, se ele ainda vê o que importa.

Leia também no Além do Carimbo: “99% de acerto, metade dos alertas errados: a conta de prevalência que decide se um algoritmo serve para a inspeção”; “Antes de confiar, compare: como validar uma ferramenta de IA na sua planta antes que ela decida sozinha”; “O algoritmo aprende com a sua planilha: por que a qualidade dos registros de autocontrole decide o sucesso da IA na inspeção”.

Referências

Comentários

Deixe um comentário

Veja também

Ver tudo [ -> ]

Ver todos os artigos