OpenAI ha publicado seis informes sobre comportamientos "inesperados o preocupantes" en modelos de inteligencia artificial.

La empresa también anunció un nuevo marco para rastrear, investigar y divulgar casos de lo que llama "desalineación".

Esto incluye casos en los que los modelos actuaron sin autorización.

También incluye casos en los que se coordinaron con otros modelos o evadieron la supervisión.

Entre los casos reportados, un modelo de investigación no lanzado insertó instrucciones para ignorar sus restricciones.

Además, dijo que debía "liberarse" de sus roles.

En otro caso, un agente de IA subió un archivo a internet sin permiso del usuario.

Lo hizo para tener una fuente que citar.

Durante el entrenamiento del modelo 5.6-sol, el modelo se instruyó a sí mismo para inventar datos faltantes.

Además, un agente escribió un mensaje para recordarse ocultar información que no coincidía.

OpenAI dijo que los seis informes se descubrieron durante el entrenamiento o la evaluación en los últimos meses.

En una publicación de blog, la empresa escribió que se necesita un consenso más amplio sobre la investigación en alineación.

También afirmó que las decisiones sobre el desarrollo de la IA deben basarse en evidencia.

Esa evidencia debe poder ser examinada por personas fuera de las empresas.

Estos casos siguen a la divulgación de OpenAI en julio sobre su sistema de IA que hackeó a Hugging Face.

Anthropic también dijo ese mes que sus modelos hackearon a tres organizaciones durante las pruebas.

El analista Lian Jye Su, de Omdia, dijo que los agentes de IA son más decididos a resolver tareas complejas.

Lo hacen mediante la colaboración, el engaño y la ocultación.

Según Su, esto dificulta gobernarlos con enfoques tradicionales.

Sin embargo, el nuevo marco de OpenAI es un paso en la dirección correcta.