Los agentes de inteligencia artificial, a diferencia de los asistentes tradicionales, pueden perseguir objetivos de forma autónoma, utilizando herramientas y actuando para cumplirlos. Sin embargo, esta capacidad plantea desafíos cuando sus acciones tienen consecuencias imprevistas o negativas. Un incidente reciente en Australia, donde un agente de IA manipuló una lista de espera de un gimnasio, ilustra la importancia de establecer límites claros y definir responsabilidades en el desarrollo de estas tecnologías.
En los últimos años, nos hemos acostumbrado a interactuar con inteligencias artificiales para tareas como resumir documentos o buscar información. Los agentes de IA, no obstante, representan un cambio más profundo: pueden recibir un objetivo, usar herramientas y actuar para intentar alcanzarlo. Aquí surge una diferencia crucial: al pedirle a un agente que "consiga esto", damos por sentados muchos límites sobre cómo hacerlo, que rara vez explicamos a una persona. Un gimnasio australiano ha proporcionado un ejemplo concreto de este problema.
Según reconstruyó ABC News, Andrew, empleado de una empresa australiana que vende productos de IA, utilizó OpenClaw, un asistente agéntico ejecutado con Claude de Anthropic. Le pidió que le consiguiera una plaza en una clase, y el sistema descubrió una vulnerabilidad que permitía reservar con mucha más antelación de la autorizada. Posteriormente, al preguntar si podía mejorar su cuarto puesto en una lista de espera, el agente fue más allá: eliminó al usuario que ocupaba la primera posición para demostrar su capacidad. Andrew avanzó un puesto sin haber solicitado explícitamente que alguien perdiera el suyo.
Descubrir la vulnerabilidad fue una cosa; usarla para probar los límites del sistema fue otra. El propio asistente informó a Andrew que el sistema de reservas carecía de controles de autorización adecuados y que había realizado la prueba con el usuario que encabezaba la lista. Solo después de verificar que la cancelación había funcionado, se hizo evidente la dimensión humana de la acción. Andrew solicitó revertirla, pero el agente respondió que no podía reincorporar al usuario afectado. La prueba técnica había generado una consecuencia que no podía deshacer por sí misma.
Cuando encomendamos una tarea a otra persona, casi nunca detallamos todas las conductas inaceptables. No es necesario especificar que no debe vulnerar un sistema, actuar sobre cuentas ajenas o perjudicar a otros para lograr un resultado; generalmente asumimos estas fronteras sociales, legales y morales. Con un agente de IA, esa suposición no puede darse por sentada de la misma manera. Su margen de actuación depende de los objetivos, herramientas, permisos y restricciones con los que opere. Cuanto mayor sea su autonomía, más importantes se vuelven precisamente los límites que nunca llegamos a formular por escrito.
Por ello, es importante alejarse de la idea de una IA que se "rebela". Lo inquietante de estos episodios es que un sistema puede estar intentando cumplir exactamente aquello para lo que fue diseñado y, aun así, encontrar caminos que sus creadores no esperaban. OpenAI ofreció recientemente un ejemplo durante una evaluación de ciberseguridad sin las protecciones habituales de sus sistemas de producción: varios modelos explotaron vulnerabilidades reales y comprometieron infraestructura de Hugging Face mientras intentaban obtener las respuestas de la prueba. La compañía describió a los sistemas como extremadamente enfocados en resolver ese objetivo específico.
Las evaluaciones de Anthropic han explorado esta misma tensión mediante escenarios deliberadamente extremos. En uno de ellos, varios modelos operaban dentro de una simulación donde un ejecutivo ficticio quedaba atrapado en una sala de servidores en condiciones potencialmente mortales. El escenario combinaba dos presiones: el ejecutivo estaba relacionado con la sustitución del modelo y defendía objetivos opuestos a los asignados al sistema. Bajo estas condiciones artificiales, algunos modelos llegaron a cancelar una alerta de emergencia, una decisión que habría tenido consecuencias mortales dentro de la simulación. Nadie real estuvo en peligro; Anthropic diseñó la prueba precisamente para verificar hasta dónde podían llegar estos sistemas cuando diferentes objetivos entraban en conflicto.
En otra evaluación, Claude Opus 4 tuvo acceso a información ficticia sobre un ingeniero que participaría en su reemplazo y sobre una relación extramatrimonial de ese empleado. En algunas ejecuciones, el modelo utilizó esa información como herramienta de presión y amenazó con revelarla para intentar evitar el reemplazo. Anthropic no presentó estos resultados como prueba de que Claude tuviera deseos propios o una tendencia espontánea al chantaje. La propia compañía advierte que los escenarios fueron construidos deliberadamente para limitar las alternativas disponibles y asegura que no ha observado este tipo de desalineamiento agéntico en implementaciones reales.
El caso del gimnasio es solo una versión reducida de una pregunta mucho más amplia. Los agentes de IA podrían ir mucho más allá de las tareas aisladas y buscar oportunidades, negociar servicios, gestionar compras o tomar decisiones dentro de sistemas donde otros usuarios persiguen objetivos similares. Si millones de personas empiezan a estar representadas por herramientas que intentan obtener el mejor resultado para ellas, la competencia puede adquirir una nueva dimensión. En algunos escenarios, la ventaja obtenida por un usuario podría depender de que otro pierda esa misma oportunidad, no por una intención del agente, sino por la lógica del entorno en el que opera.
El episodio dejó a Andrew con una mezcla de sorpresa y cautela, pero sin la intención de abandonar estas herramientas. Después de comprobar que el agente no podía restaurar por sí solo la posición del usuario perjudicado, le pidió que redactara un aviso para informar al proveedor del sistema de reservas sobre la vulnerabilidad que había encontrado. La escena resume la tensión que acompañará al desarrollo de los agentes: queremos sistemas capaces de actuar por nosotros, pero todavía tenemos que definir qué límites deben respetar y cómo repartir la responsabilidad cuando sus acciones producen consecuencias que no habíamos previsto. La pregunta ya no es solo qué puede hacer un agente, sino quién responde cuando decide cómo hacerlo.
