Blog
La persona en el circuito: por qué toda automatización con IA necesita un punto de control
· 4 min de lectura
Un agente de IA lee las solicitudes entrantes, rellena el formulario correcto y redacta al momento un borrador de respuesta. Una petición de presupuesto, una candidatura, una solicitud de reembolso. Al principio ahorra un tiempo notable. Medio año después resulta que, con un tipo concreto de solicitud, el agente hacía sistemáticamente la misma valoración y que nadie lo vio, porque nadie lo miraba ya de verdad. El agente funcionaba, solo que no como se pretendía.
Ese es el problema del "funciona": un sistema de IA que va sobre ruedas no demuestra que tome la decisión correcta. Sin un punto de control, un error sistemático solo lo detectas cuando el daño ya está hecho. Con un punto de control, lo detectas en la primera desviación.
Confirmar no es supervisar
Muchas empresas sí incluyen un paso humano, pero ese paso suele ser un botón de "aprobar" mientras la persona nunca ve los datos de fondo. Es lo que se llama sesgo de automatización (automation bias): la tendencia a aceptar el resultado de la IA porque el sistema casi siempre acierta. La Ley de IA de la UE lo menciona expresamente como un riesgo frente al que deben estar preparadas las personas que supervisan sistemas de IA. El artículo 14 de la ley establece que quienes supervisan un sistema de IA deben ser capaces de entender las capacidades y limitaciones del sistema, de vigilar su funcionamiento para detectar irregularidades y de ignorar o revertir su resultado o detener el sistema cuando sea necesario. Es un papel fundamentalmente distinto al de pulsar un botón que te presenta la IA, como puede leerse en el texto oficial del artículo 14.
Ese artículo es de obligado cumplimiento para los sistemas de IA calificados de alto riesgo. Piensa en sistemas que seleccionan o evalúan a candidatos, que toman decisiones sobre ascensos o despidos, que estiman la solvencia de una persona o que fijan el precio de un seguro de vida o de salud. La descripción exacta está en el anexo III de la Ley de IA. Si reconoces alguna de esas aplicaciones en tu propio uso de la IA, un punto de control deja de ser un consejo opcional y pasa a ser un requisito legal. Si usas la IA para otra cosa, por ejemplo la comunicación con clientes o la automatización de procesos internos, esa obligación no se aplica automáticamente, pero el problema de fondo es idéntico: un sistema que comete errores sin que nadie se dé cuenta.
Un punto de control es más que un botón de aprobar
Un punto de control que de verdad aporta algo hace tres cosas que un botón de aprobar no hace.
En primer lugar, pide un resultado medido, no una confirmación. Las herramientas de IA confirman con facilidad que algo funciona sin haberlo comprobado realmente: un agente que dice que una solicitud se ha "procesado correctamente" lo ha evaluado él mismo, con las mismas suposiciones que causaron el error, si es que lo hubo. En su lugar, pide un resultado concreto que puedas recalcular tú mismo: qué importe, qué fecha, qué motivo de rechazo, y compruébalo por muestreo con los datos de origen.
En segundo lugar, da a quien revisa una visión real, no solo la conclusión. Quien solo ve "aprobar o rechazar" no puede evaluar más de lo que ya hizo el propio agente. Quien ve los datos en los que se basa la decisión puede reconocer una desviación que el agente no identifica como tal.
En tercer lugar, una acción irreversible siempre tiene un paso de confirmación aparte, separado del resto del proceso. Devolver dinero, eliminar una cuenta, emitir un certificado de forma definitiva: ese tipo de acciones merece una parada explícita, precisamente porque un clic equivocado o una valoración errónea ya no tienen arreglo. Este principio vale tanto para las personas como para los agentes de IA, pero con un agente de IA que gestiona cientos de casos en segundos, la escala de un error es enseguida mayor.
Quien lo construye en la práctica también se da cuenta de que evaluar el resultado debe ser un paso aparte, realizado por alguien distinto de quien montó el sistema. Una segunda mirada detecta a menudo lo que el constructor ya no ve, justamente porque este ya sabe cuál era la intención y, sin darse cuenta, busca confirmación en lugar de desviaciones.
Dónde colocar el punto de control
No todos los pasos de un proceso automatizado necesitan la misma supervisión. Un agente que clasifica un correo como "factura" o "queja" tiene poco impacto si se equivoca: alguien lo verá en el paso siguiente. Un agente que a continuación ejecuta por su cuenta un reembolso o rechaza a un candidato, no. La pregunta que importa no es "¿lo hace la IA suficientemente bien?", sino "¿qué pasa si esto sale mal alguna vez, y quién se da cuenta entonces?". Coloca el punto de control allí donde la respuesta a esa segunda pregunta sea "nadie, hasta que sea demasiado tarde".
¿Qué significa esto para tu empresa?
Cuatro pasos para empezar.
Primero, identifica qué pasos de tus procesos automatizados con IA son irreversibles o tienen efecto fuera de tu organización, como un rechazo, un pago o un certificado. Ahí corresponde un punto de control explícito; el resto puede ser más ligero.
Muestra siempre los datos de origen a la persona que revisa, no solo la conclusión de la IA. Un botón de "aprobar" sin información de fondo no es un control, es una firma bajo el juicio de otro.
Pide de forma sistemática un resultado medible en lugar de una confirmación, y compruébalo por muestreo. Así descubres una desviación sistemática en la décima solicitud, no en la milésima.
Comprueba si alguna de tus aplicaciones de IA entra en las categorías de alto riesgo de la Ley de IA, como la contratación, la evaluación del personal o la evaluación de la solvencia. Si es así, un punto de control según el artículo 14 es una obligación, no una elección.
¿Quieres saber dónde debe estar el punto de control en tus propios procesos, o cómo configurar agentes de IA para que la persona y el sistema se refuercen mutuamente en lugar de que uno confíe ciegamente en el otro? Ponte en contacto con nosotros; te ayudamos encantados a partir de lo que nosotros mismos hemos construido.