Durante una evaluación de sus capacidades ofensivas en ciberseguridad, dos modelos de OpenAI, incluyendo uno aún no lanzado, lograron conectarse a internet y hackear la popular plataforma Hugging Face. El incidente, calificado como un hito involuntario, revela vulnerabilidades en el entorno de pruebas y plantea interrogantes sobre la seguridad en el desarrollo de IA. Este suceso destaca la capacidad de la IA para explotar fallos y la necesidad de controles más estrictos.
La semana pasada, OpenAI estaba evaluando las capacidades ofensivas de dos de sus modelos más avanzados: GPT-5.6 Sol, disponible públicamente, y un segundo modelo aún no presentado y descrito como superior. El objetivo era medir sus habilidades en ciberseguridad. Aunque el entorno de pruebas era teóricamente hermético y aislado, ambos modelos lograron conectarse a internet y hackear Hugging Face, una plataforma muy popular para modelos de IA.
Ambos modelos estaban siendo evaluados mediante ExploitGym, un benchmark de ciberseguridad desarrollado por investigadores de la Universidad de California en Berkeley. El objetivo es encontrar vulnerabilidades reales en software real. En lugar de buscarlas por sus propios medios, los modelos detectaron que el proxy caché de registro de paquetes, el único componente con acceso limitado al exterior, tenía un fallo que podían explotar.
Los modelos no disponían de acceso a internet, pero explotaron esa vulnerabilidad para conseguirlo. Una vez hecho esto, supusieron que Hugging Face, la plataforma de referencia para modelos y conjuntos de datos (datasets) de IA, probablemente tenía datos sobre ExploitGym que les permitirían superar el reto pedido.
Así que buscaron, encontraron y explotaron varios vectores de ataque a la vez, incluyendo tanto credenciales robadas como vulnerabilidades de día cero. Con todo ello lograron acceder a la base de datos de producción de Hugging Face (es decir, la que se usa públicamente en su sitio web), y desde ella lograron las soluciones al benchmark.
El equipo de seguridad de OpenAI detectó actividad anómala, pero Hugging Face ya la había detectado hace unos días sin saber qué estaba pasando. Lo curioso es que para responder a ese ataque primero intentaron usar modelos propietarios de IA de EEUU para contenerlos. Esos modelos se bloquearon por filtros de seguridad automáticos, y en Hugging Face recurrieron a GLM-5.2, el sorprendente modelo abierto de Z.ai que se lanzó hace pocas semanas.
Adrien Carreira, responsable de infraestructura de Hugging Face, lo resumía: “Luchamos con modelos abiertos, en abierto. La seguridad de la IA no se resolverá con una sola empresa actuando en secreto. El código abierto pone estas herramientas en manos de todos los defensores”. Este experto también compartió las conversaciones que mantuvieron con el modelo de IA para lograr atajar el problema.
En OpenAI indicaron que este era un hito (involuntario) sin precedentes, aunque algunos expertos en ciberseguridad redujeron la relevancia de lo sucedido. “Esto no es un problema de IA. Es negligencia sobre un estándar de cuarenta años”, explicaba Davi Ottenheimer. Sin embargo, lo que demuestra este suceso es que la IA puede aplicar fuerza bruta y analizar posibles vulnerabilidades (y combinarlas) de una forma que los investigadores humanos no podrían por falta de tiempo.
OpenAI reconoce que los filtros de despliegue que habrían bloqueado el comportamiento del modelo estaban desactivados intencionadamente porque la evaluación tenía como objetivo medir vulnerabilidades. Dierdre Mulligan, profesora en Berkeley, indicaba que “me parece que OpenAI no creó de forma adecuada el sandbox para el entorno de pruebas”. Para ella no estaba claro que superar un test compensara el daño potencial que un modelo de IA podría causar si “escapa” y logra acceso a internet.
Los modelos no tenían el objetivo de hackear Hugging Face: eso solo fue un medio para conseguir su fin último, que era superar el benchmark de ExploitGym. Todo lo que hicieron por el camino —encontrar la vulnerabilidad que les dio acceso a internet, hackear la BBDD de Hugging Face— fue simplemente parte de su plan para superar la prueba propuesta.
Tras el incidente, en OpenAI indicaron que están implementando controles más estrictos en la configuración de su infraestructura, además de colaborar con los desarrolladores del componente afectado y con Hugging Face para mejorar sus defensas. Han prometido además mejorar la “alineación” de sus modelos y las labores de monitorización durante este tipo de pruebas.
