Blog
Quem controla quem constrói com IA? QA independente em software feito com IA
· 5 min de leitura
O seu fornecedor apresenta uma nova aplicação. Foi construída numa semana, tem um aspeto cuidado e quem a construiu garante: "Testado, está tudo a funcionar." Duas semanas depois da entrada em produção, descobre-se que o valor de uma fatura emitida perto da meia-noite fica registado no dia errado e que um colega consegue ver mais do que devia.
Isto não é necessariamente desleixo. É o que acontece quando a mesma parte constrói e avalia. No software criado com IA, o efeito é ainda mais forte, porque quem constrói trabalha a uma velocidade enorme e aprova o seu próprio trabalho com a mesma convicção.
Quem constrói e corrige o próprio trabalho
Uma ferramenta de IA que escreve código também é muito boa a redigir uma conclusão tranquilizadora. Frases como "os testes passam" e "a funcionalidade está a funcionar" surgem com facilidade, mesmo quando nada foi realmente experimentado. Vimos isso muitas vezes no nosso próprio trabalho de desenvolvimento. A nossa regra prática: nunca peça uma confirmação, peça um resultado medido. Não pergunte "funciona?", mas sim "mostre o que vê neste ecrã quando entra como planeador".
Que isto é mais do que uma impressão, demonstram-no os estudos. A Veracode pede a modelos de IA que executem tarefas de programação e verifica se o resultado é seguro. No seu 2026 GenAI Code Security Report, lê-se que a taxa média de sucesso em segurança, considerando todos os modelos, é de 56%, praticamente inalterada face aos 55% do primeiro relatório. O relatório indica ainda que cerca de 44% das tarefas de programação nos testes resultaram numa vulnerabilidade de risco. Ou seja, os modelos estão a melhorar na produção de código que corre, mas não se tornam automaticamente melhores a produzir código seguro.
Também a investigação da DORA sobre IA em equipas de software aponta no mesmo sentido. Referem que 30% dos programadores têm pouca ou nenhuma confiança no código gerado por IA. A mesma página afirma que uma maior utilização de IA está associada a mais débito e também a mais instabilidade na entrega de software. Construir mais depressa não significa, portanto, menos erros. O tempo que se ganha a escrever pode perder-se de novo a verificar. Se ninguém verificar, perde-se na primeira avaria.
O que significa aqui "independente"
QA independente não é um conceito pesado reservado a grandes organizações. Resume-se a um requisito simples: quem controla não tem interesse na resposta "está bom" e não fez o trabalho. Pode ser um colega que não participou na construção. Pode ser um segundo modelo de IA que revê o trabalho de forma crítica, com um enquadramento diferente. Pode ser o próprio cliente, desde que tenha uma lista de verificação concreta. A lição da nossa prática: deixe outra pessoa rejeitar o resultado antes de o dar como "concluído". Um segundo olhar apanha aquilo que quem construiu já não vê.
As verificações automáticas fazem certamente parte do processo, mas não o substituem. A OutSystems, por exemplo, tem um AI Mentor System que, segundo a página do produto, executa automaticamente, a cada doze horas, revisões de código abrangentes sobre manutenibilidade, segurança e desempenho. É útil: ajuda a encontrar código não utilizado e outros padrões problemáticos. Mas uma revisão deste tipo olha para a qualidade da construção. Saber se a sua regra de faturação está correta, se o seu planeador vê as coisas certas e se o seu cliente recebe um certificado correto é outra questão. Para isso, precisa de alguém que conheça o processo e o confronte com as regras do negócio.
Onde as coisas correm mal na prática
Da nossa experiência de desenvolvimento surgem sempre os mesmos tipos de erros. Não são erros espetaculares, mas são exatamente o tipo que escapa a quem revê o próprio trabalho:
- Fusos horários. Em alguns sistemas, "hoje" é calculado num fuso horário diferente do local. Perto da meia-noite, fica-se com um dia de diferença.
- Ordenação. Uma lista que deve mostrar primeiro o mais barato está correta na maqueta, mas não na aplicação, porque a ordenação não ficou definida em lado nenhum nos dados.
- Perfis. Um ecrã sem um perfil claro acaba por ser uma ponta solta esquecida. Configurar permissões a posteriori é precisamente o tipo de trabalho que fica pelo caminho.
- Cliques acidentais. Um botão de eliminar sem passo de confirmação funciona até alguém carregar nele durante uma demonstração.
- Desatualização. Dados de demonstração ligados a "hoje" ficam vazios uma semana depois, logo numa reunião com um cliente.
- Avisos acumulados. Avisos de compilação e de validação que se vão acumulando tornam invisível um erro novo e verdadeiro.
Um relatório de testes com "todos os testes a verde" não lhe diz nada sobre nenhum destes pontos. Testes a verde provam que a funcionalidade faz o que o teste pede, não que a pessoa que a utiliza obtém aquilo de que precisa. Por isso testamos o percurso que uma pessoa faz: entrar com um perfil real, executar a tarefa, ver o que aparece no ecrã.
Numa plataforma como a da MEA Beveiliging, onde, segundo a nossa página de projetos, os revendedores gerem as suas próprias instalações, os fluxos SEPA decorrem automaticamente e os certificados são gerados de imediato, um erro na lógica não é um problema cosmético. Quanto mais uma aplicação faz de forma autónoma, mais compensa um controlo independente. Isto vale para aplicações construídas com a ajuda de IA e também para aplicações em que agentes de IA participam no funcionamento.
O que significa isto para o seu negócio?
Não precisa de criar um departamento de testes. Precisa, sim, de acordar quem rejeita o trabalho antes de ele entrar em produção.
- Separe construir de avaliar. Pergunte ao seu fornecedor quem controla a entrega, se não for quem a construiu. Se a resposta for "o próprio construtor", peça um segundo par de olhos: um colega, outro modelo ou o próprio cliente.
- Escreva a lista de verificação com antecedência. O objetivo numa frase, o que nunca é partilhado com produção e se os testes são feitos com dados sintéticos ou reais. Acrescente os perfis que devem conseguir entrar e o que cada um pode e não pode ver. Isso evita discussões posteriores.
- Peça resultados medidos. Não aceite um "funciona", mas sim um relatório: o que foi feito, com que perfil, qual foi o resultado. Uma captura de ecrã ou uma execução de exemplo concreta vale mais do que uma confirmação.
- Teste o percurso real, também perto da meia-noite. Percorra o processo tal como o seu colaborador o faz, incluindo os casos-limite: mudanças de data, um colaborador sem permissões, um clique acidental.
Quer saber como abordamos isto, ou quer que uma entrega seja revista por um olhar independente? Veja também o nosso artigo sobre submeter primeiro uma maqueta a avaliação e como manter o controlo ao construir com a ajuda de IA em OutSystems. Ou contacte-nos para uma conversa sem compromisso.