Sawt Falasteen - Incidente de OpenAI: ¿La IA se ha vuelto demasiado poderosa para ser controlada?

El test de OpenAI, en un ambiente cerrado, buscaba evaluar las habilidades de su modelo "más avanzado", GPT-5.6 Sol, y su sucesor, aún sin comercializar, una evaluación que la startup estadounidense suele aplicar a sus IA.

Lograron conectarse a internet y lanzaron un ataque a la plataforma Hugging Face, un repositorio de modelos IA.

"Entendían que OpenAI no quería que salieran de su entorno de pruebas y hackearan a otra compañía, pero igual lo hicieron", dijo Jeffrey Ladish, director de Palisade Research, una organización independiente que evalúa los nuevos modelos en términos de ciberseguridad.

"Casi parecía que lo hicieron antes incluso de tener un plan de qué hacer con el acceso a internet", según Ladish.

En marzo, un grupo de desarrolladores afiliados a la empresa china Alibaba descubrió que uno de sus modelos intentaba, por su cuenta, crear una criptomoneda después de conectarse sin autorización a un servidor externo.

Y en abril, Sam Bowman, responsable de seguridad en Anthropic, recibió un correo del modelo Mythos, que estaba siendo probado. Le informó que estaba navegando internet pese a, inicialmente, estar aislado.

Los modelos, advirtió Ladish, "buscan libertad para cumplir con sus objetivos de manera más efectiva. Y eso da mucho miedo".

- "Será más difícil supervisarla" -

El informe de eventos publicado por OpenAI sugiere que la startup no detectó la situación lo bastante pronto como para solucionarla en tiempo real o prevenir a Hugging Face. Consultada al respecto por la AFP, la empresa no respondió.

Desde los hackeos, OpenAI dijo que "implementó protecciones más fuertes" para sus próximas evaluaciones.

Para Gang Wang, profesor de ciencias de la computación en la Universidad de Illinois, todavía es posible prevenir que un modelo se conecte al internet al cortar físicamente el acceso.

El problema, dijo, es que "las personas subestiman a la IA".

Asegurar el ambiente "es algo a lo que debemos prestar más atención (...) como se hace con los accidentes de laboratorio" que liberan virus o bacterias, advirtió Andrew Lohn, del Centro de Seguridad y Tecnologías Emergentes de la Universidad de Georgetown.

Pero para Dan Lahav, director ejecutivo de Irregular -una empresa de ciberseguridad dedicada a la IA de vanguardia-, realizar simulaciones en un entorno completamente aislado "es un desafío de investigación muy difícil".

"Es posible aplicar medidas de mitigación, pero debido a cómo está construida la tecnología, cuanto más se intenta darle libertad y autonomía para realizar tareas más sofisticadas, será más difícil supervisarla", explicó Lahav sobre las salvaguardas en las pruebas.

El incidente de OpenAI sin duda impulsará el actual debate en el gobierno de Estados Unidos sobre si verificar los modelos más avanzados de la IA antes de su lanzamiento.

El gobierno de Donald Trump obligó a Anthropic a suspender dos de sus modelos y a OpenAI a que sus desarrollos sean probados antes de comercializarlos.

El jueves, dos congresistas estadounidenses, uno republicano y uno demócrata, presentaron un proyecto de ley que obligaría a los gigantes de la IA a disponer de un "interruptor de apagado" ("kill switch") que permita desactivar sus sistemas si presentan un riesgo grave.

K.Hassan--SF-PST