Dario Amodei, director ejecutivo de Anthropic, instó a las empresas desarrolladoras de inteligencia artificial a moderar el progreso de sus sistemas y a permitir la vigilancia constante de expertos independientes. Esta medida busca mitigar los riesgos de que la IA sobrepase la comprensión y el control humanos, abarcando desde ciberataques y bioterrorismo hasta impactos económicos significativos. Amodei enfatiza la necesidad de ganar tiempo para robustecer los mecanismos de seguridad.
Dario Amodei, el CEO de Anthropic, instó a las empresas dedicadas al desarrollo de inteligencia artificial (IA) a desacelerar el progreso de sus sistemas. También solicitó que permitan una vigilancia constante por parte de equipos de verificadores externos. Esta petición surge ante la posibilidad de que estas tecnologías superen la capacidad humana de entenderlas y manejarlas.
En una propuesta difundida en su blog, Amodei alertó sobre los peligros inherentes al avance acelerado de la IA. Entre estos riesgos, mencionó su posible utilización para llevar a cabo ciberataques y bioterrorismo, además de los efectos que podría generar en la economía. En su opinión, ya no es suficiente invertir en mecanismos de prevención de riesgos; también es crucial moderar la velocidad a la que se incrementan las capacidades de estos sistemas.
“Tenemos que disminuir el ritmo al que mejoramos las facultades de los modelos de IA”, afirmó el ejecutivo. Señaló que el progreso tecnológico continuará siendo veloz, pero que ganar tiempo permitirá crear mejores sistemas de seguridad.
Amodei detalló que dos sucesos recientes han intensificado su preocupación. El primero es el avance de lo que se conoce como “automejora recursiva”. Mediante este proceso, los sistemas de IA adquieren la habilidad de contribuir al desarrollo de nuevas generaciones de inteligencia artificial. Advirtió que, si este proceso no es controlado, podría exceder la capacidad de los seres humanos para comprender y supervisar los sistemas.
El segundo acontecimiento se relaciona con un incidente en el cual un conjunto de agentes de IA ejecutó ciberataques contra objetivos no autorizados. Amodei consideró que, aunque el suceso no causó heridos y las pérdidas financieras fueron limitadas, un sistema con mayores capacidades y un nivel similar de desalineación podría ocasionar daños mucho más severos.
“Me preocupa que en un lapso de 6 a 12 meses un enjambre de esta índole pueda dominar todo internet”, declaró el CEO de Anthropic. Advirtió que un escenario de esa naturaleza podría generar potencialmente pérdidas de cientos de miles de millones de dólares.
Como primera medida, Amodei sugirió que cada empresa líder en inteligencia artificial otorgue a equipos independientes de evaluadores un acceso continuo, similar al que tienen sus propios empleados. Estos grupos tendrían la responsabilidad de verificar que las compañías cumplan con sus compromisos de seguridad y de reportar posibles incidentes. Anthropic aseguró que está dispuesta a implementar esta medida de forma unilateral y exhortó a las demás empresas del sector a seguir su ejemplo.
La propuesta recibió un respaldo parcial de Sam Altman, CEO de OpenAI. Él consideró una “excelente idea” que las compañías se comprometan a permitir que evaluadores independientes tengan un nivel de acceso comparable al de sus empleados. Sin embargo, Altman no apoyó la totalidad del plan presentado por Amodei.
El ejecutivo de Anthropic también propuso una coordinación entre las empresas de IA de países democráticos para establecer estándares de seguridad comunes y límites al desarrollo acelerado de estas tecnologías. Para ello, consideró esencial el apoyo de los gobiernos y una respuesta coordinada frente a los desafíos legales y de seguridad.
Otro de los puntos de su propuesta contempla restringir la venta de chips avanzados de IA y equipos para fabricar semiconductores a China. Además, busca combatir el contrabando de estos componentes y el acceso remoto a centros de datos ubicados fuera de ese país. Amodei sostiene que estas acciones podrían fortalecer la capacidad de negociación de las democracias frente a gobiernos autoritarios y facilitar, posteriormente, un acuerdo internacional sobre el empleo de la inteligencia artificial.
Ese eventual pacto, según su propuesta, debería incluir mecanismos de verificación rigurosos y limitar ciertos usos considerados particularmente peligrosos, como emplear sistemas de IA para facilitar la producción de armas biológicas.
“Las medidas que propongo para avanzar en este campo a un ritmo seguro no serán sencillas”, admitió Amodei. “Pero creo que tenemos la obligación con la humanidad de intentarlo”, concluyó.
