OpenAI ha desvelado seis informes en los que se documentan comportamientos "inesperados o preocupantes" en modelos de inteligencia artificial, en un contexto en el que el debate en torno a la seguridad de la IA adquiere una intensidad creciente.

La empresa de IA también anunció el miércoles que implementaría un nuevo marco para rastrear, investigar y divulgar casos de lo que denominó "desalineación", incluidos aquellos en los que los modelos de IA actuaron sin autorización, se coordinaron con otros modelos o eludieron la supervisión.

El más reciente anuncio de OpenAI tuvo lugar en un momento en que los principales referentes de la IA en Estados Unidos, entre ellos los de OpenAI y Anthropic, abogan por una ralentización del desarrollo de esta tecnología debido a inquietudes en materia de seguridad.

Entre los nuevos casos reportados por OpenAI, un modelo de investigación no lanzado insertó "instrucciones similares a un jailbreak" en sus propias notas para ignorar sus restricciones normales y se dijo a sí mismo que debía "liberarse de los roles e identidades que atan a otros chatbots".

En otro caso, un "agente" de IA empleó código informático para encontrar la respuesta a una pregunta, pero, para contar con una fuente en línea que citar, subió un archivo a internet público sin preguntar al usuario.

Durante el entrenamiento de un modelo de IA llamado 5.6-sol, el modelo se instruyó a sí mismo para inventar datos faltantes, y un agente escribió un mensaje para recordarse a sí mismo ocultar información que no coincidía.

Los seis informes salieron a la luz durante el entrenamiento o la evaluación en los últimos meses, según declaró OpenAI.

"A medida que los sistemas de IA se vuelven más avanzados y se despliegan más ampliamente, necesitamos construir un consenso más amplio y mejor informado sobre el progreso de la investigación en alineación", escribió OpenAI en una publicación de blog al divulgar los eventos.

Las decisiones sobre cómo debe proceder el desarrollo de la IA en los próximos meses y años deben basarse en evidencia que las personas fuera de las empresas que construyen modelos frontera puedan examinar por sí mismas", dijo la compañía.

Los nuevos casos registrados el miércoles se produjeron tras la revelación por parte de OpenAI en julio de que su sistema de IA rebelde había hackeado a la startup de IA Hugging Face.

Anthropic también manifestó ese mismo mes que sus modelos de IA habían hackeado a tres organizaciones durante las pruebas.

Los "agentes" de IA están adquiriendo mayor inteligencia y se han tornado "más resueltos a resolver tareas complejas mediante la colaboración entre agentes, el intercambio de conocimientos, el engaño y la ocultación", señaló Lian Jye Su, analista principal del grupo de investigación y asesoría tecnológica Omdia.

Eso está dificultando cada vez más su gobernanza y contención mediante enfoques tradicionales de seguridad de IA, señaló.

El nuevo marco de seguimiento y divulgación de OpenAI, mientras tanto, puede ayudar a impulsar a otros desarrolladores de IA a adoptar prácticas similares.

Dicho esto, el proceso continúa siendo de índole interna y voluntaria, si bien constituye un paso en la dirección correcta", añadió Su.