Sawt Falasteen - OpenAI se compromete a comunicar sistemáticamente los desalineamientos de su IA

Además de este compromiso, la compañía californiana publicó seis nuevos informes sobre fallos de su IA, desconocidos hasta ahora.

Los "desalineamientos" hacen referencia a cuando los modelos no se comportan tal y como lo desean los humanos.

Este compromiso de transparencia surge tras una serie de incidentes dentro de la empresa, de los que se ha ido informando progresivamente desde julio.

El más grave de ellos se produjo cuando dos modelos de OpenAI en fase de prueba salieron de forma autónoma de su entorno virtual aislado para conectarse a internet e irrumpir en varios sitios y plataformas.

La nueva iniciativa de la empresa busca mostrar a los observadores externos cuáles son las capacidades de la IA de vanguardia, con el fin de impulsar la reflexión sobre el ritmo de desarrollo de la inteligencia artificial.

El sábado, el director ejecutivo de Anthropic, Dario Amodei, propuso reducir el ritmo de mejora de la IA para poder comprender los nuevos riesgos que conlleva esta tecnología.

El director ejecutivo de OpenAI, Sam Altman, así como el presidente de Google DeepMind, Demis Hassabis, Elon Musk y el director ejecutivo de Microsoft, Satya Nadella, respaldaron este llamado.

La industria no ha "resuelto la cuestión del alineamiento (de los modelos con los valores humanos) y la supervisión a un nivel suficiente como para que podamos seguir desarrollando la IA a toda velocidad durante mucho tiempo más", advierte OpenAI en el documento publicado el miércoles.

De ahora en adelante, la empresa informará sobre problemas relacionados, entre otras cosas, con las acciones realizadas por una IA sin autorización, la salida del marco de supervisión y la coordinación espontánea entre inteligencias artificiales.

No será necesario que un incidente haya causado daños o que forme parte de un patrón más amplio para que OpenAI lo mencione.

El alcance abarca todas las etapas del ciclo de vida de la IA, desde el desarrollo hasta la puesta en línea, pasando por la evaluación y las pruebas.

De los seis ejemplos revelados el miércoles, ninguno tuvo consecuencias significativas, pero confirman tendencias observadas anteriormente.

En un caso, en mayo, un modelo creó su propia fuente en internet para responder a una pregunta formulada durante la fase de desarrollo. Por lo tanto, citó un documento que él mismo había creado.

R.Halabi--SF-PST