ALÉM DO CARIMBO

Logo_ADC

Antes de confiar, compare: como validar uma ferramenta de IA na sua planta antes que ela decida sozinha

Por

alemdocarimbo
5–8 minutos

–

A ferramenta chegou. O fornecedor instalou a câmera sobre a esteira, mostrou um painel bonito, apresentou um relatório com “acurácia de 98%” e deixou um contrato de suporte. Na segunda-feira, a gerência quer saber: já podemos confiar nela? A resposta honesta é: ainda não. Antes de uma ferramenta de inteligência artificial assumir qualquer papel no controle de qualidade ou no autocontrole de uma planta, ela precisa provar, nos dados da própria planta, que faz o que promete. Este texto explica como pensar essa prova.

Três palavras que organizam tudo

A segurança dos alimentos já tem vocabulário para isso, e ele não foi criado para a IA. As diretrizes do Codex Alimentarius para validação de medidas de controle (CAC/GL 69-2008) distinguem três atividades que costumam ser confundidas.

Validar é obter evidência de que uma medida de controle, se corretamente implementada, é capaz de controlar o perigo até um resultado especificado. É a pergunta “isto funciona?”, feita antes de confiar.

Monitorar é observar ou medir, de forma planejada, parâmetros de controle para saber se a medida está sob controle. É a pergunta “está funcionando agora?”.

Verificar é aplicar métodos, testes e avaliações, além do monitoramento, para saber se a medida está ou esteve operando como pretendido. É a pergunta “funcionou como deveria ao longo do tempo?”.

Uma ferramenta de IA é, na prática, uma medida de controle ou um instrumento de monitoramento. Logo, entra exatamente nessa lógica. O relatório do fornecedor, por melhor que seja, não substitui a validação feita nas condições reais da planta.

Por que o número do fornecedor não basta

Um modelo de IA aprende com os exemplos que recebeu. Se foi treinado com imagens de outra planta, de outra raça, de outra embalagem, com outra iluminação, seu desempenho pode cair quando muda de ambiente. Além disso, a “acurácia” global pode esconder o que mais importa. Se 99 de cada 100 itens são conformes, um sistema que aprova tudo acerta 99% e não detecta nada. Em segurança dos alimentos, a métrica crítica é a sensibilidade: de todos os itens realmente não conformes, quantos o sistema encontrou? O complemento dela é o falso negativo, o perigo que passou.

A microbiologia de alimentos resolveu um problema parecido há muito tempo. Um método rápido de detecção de patógeno só é aceito como alternativa ao método de referência depois de um protocolo de comparação, como o da norma ISO 16140-2, que avalia o desempenho do método alternativo frente ao de referência. A IA pede a mesma disciplina: comparar com uma referência confiável, em número suficiente de casos, antes de substituir qualquer coisa.

Como funciona na prática: a validação em paralelo

O caminho mais prudente é colocar a ferramenta para rodar em paralelo à rotina existente, sem que suas decisões tenham efeito, o chamado “modo sombra”. A inspeção ou a análise atual continua decidindo; a IA apenas registra o que teria decidido. Depois de um período definido, compara-se uma coisa com a outra.

Alguns cuidados fazem diferença:

  • Definir antes o que será medido e qual desempenho mínimo é aceitável, especialmente a sensibilidade para os defeitos ou perigos críticos. Critério escrito depois de ver o resultado não é critério.
  • Garantir uma referência confiável. Quando IA e inspetor discordam, quem decide qual dos dois acertou? Um segundo avaliador experiente, uma análise laboratorial ou a revisão das imagens por um painel ajudam a construir essa referência.
  • Incluir casos difíceis e raros. Se o período de teste tiver poucos itens não conformes, o resultado diz pouco sobre a capacidade de detecção. Às vezes é preciso prolongar o teste ou reunir exemplos de diferentes turnos, lotes e condições.
  • Registrar tudo de forma rastreável: versão do modelo, data, condição da linha, decisão da IA, decisão humana e resultado final. Esses registros são a evidência que uma auditoria vai pedir.
  • Separar os resultados por condição. Desempenho bom de manhã e ruim no fim do turno, ou bom num produto e ruim em outro, é informação essencial, que a média esconde.

Depois de validar, continuar verificando

Validação não é diploma vitalício. Mudou o fornecedor da embalagem, a iluminação, a velocidade da linha, a genética do lote ou a versão do software? O desempenho pode mudar junto. Por isso, a verificação periódica, com amostras conferidas por pessoas, precisa fazer parte do plano. O Marco de Gestão de Riscos de IA do NIST, dos Estados Unidos, trata exatamente disso ao recomendar que sistemas de IA sejam medidos e monitorados ao longo de todo o ciclo de vida, e não apenas na entrega.

Há também o risco humano. O Regulamento Europeu de IA (Regulamento UE 2024/1689), em seu artigo 14, exige que sistemas de alto risco sejam projetados para permitir supervisão humana efetiva, e menciona expressamente o viés de automação: a tendência de confiar demais, ou automaticamente, na saída da máquina. Esse regulamento não se aplica diretamente a uma planta brasileira, mas o alerta vale em qualquer lugar. Quando a máquina olha, o humano tende a parar de olhar. Uma boa validação inclui definir quem confere, com que frequência e com que autoridade para contrariar a ferramenta.

No Brasil: a responsabilidade não muda de mãos

Nos estabelecimentos sob inspeção oficial, a ferramenta de IA pode integrar o programa de autocontrole da empresa. Isso significa que a empresa é responsável por demonstrar que ela funciona, com registros que o serviço de inspeção possa verificar. A presença de um algoritmo não transfere a responsabilidade técnica para o fornecedor, nem substitui a inspeção oficial onde a legislação a exige. Para o RT e para a equipe de qualidade, a validação em paralelo é, antes de tudo, uma forma de proteção: é a prova documental de que a decisão de confiar na ferramenta foi tomada com base em dados.

Erros comuns

  • Aceitar o relatório do fornecedor como validação da ferramenta na sua planta.
  • Medir apenas a acurácia global e ignorar os falsos negativos.
  • Encerrar o teste cedo demais, com poucos casos não conformes.
  • Validar uma vez e nunca mais conferir, mesmo depois de mudanças no processo ou no software.
  • Permitir que a equipe pare de olhar porque “a câmera já vê”.

Em resumo

  • Validar, monitorar e verificar são etapas diferentes; a IA precisa passar pelas três, como qualquer medida de controle.
  • O desempenho só vale para as condições em que foi medido; por isso a validação precisa acontecer na planta, com os dados da planta.
  • A métrica que mais importa é a capacidade de encontrar o perigo raro, ou seja, a sensibilidade e os falsos negativos.
  • O “modo sombra”, com critérios definidos antes e referência confiável, é o caminho prudente antes de qualquer ferramenta decidir sozinha.
  • Por trás de um carimbo existe ciência, responsabilidade e saúde pública, e nenhuma delas pode ser terceirizada para um algoritmo.

Referências

Leia também no Além do Carimbo: “Antes de assinar o contrato: 10 perguntas que o RT deve fazer a quem vende inteligência artificial”; “Quando a máquina olha, o humano para de olhar: os falsos negativos da IA no APPCC”; “O algoritmo aprende com a sua planilha: por que a qualidade dos registros de autocontrole decide o sucesso da IA na inspeção”.

Comentários

Deixe um comentário

Veja também

Ver tudo [ -> ]

Ver todos os artigos