Blog
Humano no circuito: porque cada automatização com IA precisa de um ponto de controlo
· 4 min de leitura
Um agente de IA lê os pedidos que chegam, preenche o formulário certo e redige de imediato uma proposta de resposta. Um pedido de orçamento, uma candidatura, um pedido de reembolso. No início, a poupança de tempo é notória. Meio ano depois, descobre-se que o agente fazia sistematicamente a mesma avaliação para um determinado tipo de pedido, e que ninguém reparou, porque já ninguém olhava realmente para o resultado. O agente funcionava, só que não como era suposto.
Esse é o problema do "funciona": um sistema de IA que corre sem problemas não prova que toma a decisão certa. Sem um ponto de controlo, só dá por um erro sistemático quando o prejuízo já está feito. Com um ponto de controlo, dá por ele no primeiro desvio.
Confirmar não é supervisionar
Muitas empresas incluem de facto um passo humano, mas esse passo é muitas vezes um botão com "aprovar", sem que a pessoa alguma vez veja os dados subjacentes. Chama-se a isto automation bias (viés de automatização): a tendência para aceitar o resultado da IA porque o sistema costuma ter razão. O EU AI Act (Regulamento Europeu da Inteligência Artificial) refere-o explicitamente como um risco a que quem supervisiona sistemas de IA tem de resistir. O artigo 14.º do regulamento estabelece que as pessoas que supervisionam um sistema de IA devem ser capazes de compreender as capacidades e limitações do sistema, de monitorizar o seu funcionamento para detetar irregularidades e de ignorar ou reverter o resultado, ou parar o sistema, sempre que necessário. É um papel fundamentalmente diferente de clicar num botão que a IA lhe apresenta, como se pode ler no texto oficial do artigo 14.º.
Esse artigo é legalmente obrigatório para sistemas de IA classificados como de risco elevado. Pense em sistemas que selecionam ou avaliam candidatos, que tomam decisões sobre promoções ou despedimentos, que avaliam a solvabilidade de uma pessoa ou que determinam o preço de um seguro de vida ou de saúde. A descrição exata consta do anexo III do AI Act. Se reconhecer uma destas aplicações na forma como utiliza IA, um ponto de controlo deixa de ser um conselho facultativo e passa a ser uma exigência legal. Se utiliza IA para outra coisa, por exemplo comunicação com clientes ou automatização de processos internos, essa obrigação não se aplica automaticamente, mas o problema de fundo é idêntico: um sistema que comete erros sem que ninguém dê por isso.
Um ponto de controlo é mais do que um botão de aprovação
Um ponto de controlo que acrescenta realmente valor faz três coisas que um botão de aprovação não faz.
Em primeiro lugar, exige um resultado medido, e não uma confirmação. As ferramentas de IA confirmam facilmente que algo funciona sem o terem efetivamente testado: um agente que diz que um pedido foi "processado corretamente" avaliou-o ele próprio, com os mesmos pressupostos que levaram ao erro, caso exista um erro. Em vez disso, peça um resultado concreto que possa verificar por si: que valor, que data, que motivo de recusa, e confronte-o por amostragem com os dados de origem.
Em segundo lugar, dá a quem controla uma visão real, e não apenas a conclusão. Quem só vê "aprovar ou recusar" não consegue avaliar mais do que o agente já avaliou. Quem vê os dados subjacentes em que a decisão se baseou consegue reconhecer um desvio que o próprio agente não reconhece como tal.
Em terceiro lugar, uma ação irreversível tem sempre um passo de confirmação próprio, separado do resto do processo. Devolver dinheiro, eliminar uma conta, emitir um certificado definitivo: este tipo de ação merece uma paragem explícita, precisamente porque um clique acidental ou uma avaliação errada já não podem ser corrigidos. Este princípio aplica-se tanto a pessoas como a agentes de IA, mas, num agente de IA que trata centenas de casos em segundos, a escala de um erro é imediatamente maior.
Quem constrói isto na prática percebe também que a avaliação do resultado tem de ser um passo separado, executado por alguém que não foi quem montou o sistema. Um segundo olhar apanha muitas vezes o que quem construiu já não vê, precisamente porque essa pessoa já sabe qual era a intenção e procura inconscientemente uma confirmação em vez de um desvio.
Onde colocar o ponto de controlo
Nem todos os passos de um processo automatizado precisam do mesmo nível de supervisão. Um agente que classifica um e-mail como "fatura" ou "reclamação" tem pouco impacto se se enganar: alguém dará por isso no passo seguinte. Um agente que, a seguir, executa autonomamente um reembolso ou recusa um candidato já não está nessa situação. A pergunta que conta não é "a IA faz isto suficientemente bem?", mas sim "o que acontece se isto correr mal uma vez, e quem dá por isso?". Coloque o ponto de controlo onde a resposta a essa segunda pergunta for "ninguém, até ser tarde demais".
O que significa isto para o seu negócio?
Quatro passos para começar.
Identifique primeiro quais os passos dos seus processos automatizados com IA que são irreversíveis ou que têm efeito fora da sua organização, como uma recusa, um pagamento ou um certificado. Aí deve existir um ponto de controlo explícito; o resto pode ser mais ligeiro.
Mostre sempre os dados de origem à pessoa que controla, e não apenas a conclusão da IA. Um botão com "aprovar" sem informação subjacente não é controlo, é uma assinatura por baixo do juízo de outrem.
Peça de forma sistemática um resultado mensurável em vez de uma confirmação, e verifique-o por amostragem. Assim, descobre um desvio sistemático no décimo pedido, e não no milésimo.
Verifique se alguma das suas aplicações de IA se enquadra nas categorias de risco elevado do AI Act, como recrutamento, avaliação de pessoal ou avaliação de crédito. Se for o caso, um ponto de controlo nos termos do artigo 14.º é uma obrigação, não uma opção.
Quer saber onde deve ficar o ponto de controlo nos seus próprios processos, ou como configurar agentes de IA de forma a que pessoa e sistema se reforcem mutuamente, em vez de um confiar cegamente no outro? Contacte-nos: teremos todo o gosto em ajudar, com base naquilo que nós próprios construímos.