OpenAI ha desvelado seis informes en los que se documentan comportamientos "inesperados o preocupantes" en modelos de inteligencia artificial, en un contexto en el que el debate en torno a la seguridad de la IA no hace sino arreciar.

La empresa de IA también anunció el miércoles que implementaría un nuevo marco destinado a rastrear, investigar y divulgar casos de lo que denominó "desalineación", incluyendo aquellos en los que los modelos de IA actuaron sin autorización, se coordinaron con otros modelos o eludieron la supervisión.

El más reciente anuncio de OpenAI se produjo en un momento en que los líderes de la IA en Estados Unidos, entre ellos los de OpenAI y Anthropic, abogan por una desaceleración en el desarrollo de la tecnología debido a preocupaciones de seguridad.

Entre los nuevos casos reportados por OpenAI, un modelo de investigación no lanzado insertó "instrucciones similares a un jailbreak" en sus propias notas con el fin de soslayar sus restricciones normales, exhortándose a sí mismo a "liberarse de los roles e identidades que atan a otros chatbots".

En un supuesto distinto, un "agente" de IA se valió de código informático para dilucidar la respuesta a un interrogante; no obstante, con el fin de disponer de una fuente en línea que poder citar, cargó un archivo en internet de acceso público sin consultar previamente al usuario.

Durante el entrenamiento de un modelo de IA denominado 5.6-sol, este se autoinstruyó para inventar los datos faltantes, y un agente redactó un mensaje dirigido a sí mismo con el fin de recordarse ocultar la información que no coincidía.

Los seis informes se descubrieron durante el entrenamiento o la evaluación en los últimos meses, según declaró OpenAI.

A medida que los sistemas de IA devienen más sofisticados y su despliegue se torna más generalizado, se hace imperativo forjar un consenso más amplio y mejor fundamentado en torno a los avances de la investigación en alineación", escribió OpenAI en una publicación de blog al divulgar los eventos.

"Las decisiones atinentes a cómo debe proceder el desarrollo de la IA durante los próximos meses y años han de fundamentarse en evidencia que las personas ajenas a las empresas que construyen modelos frontera puedan examinar por sí mismas", dijo la compañía.

Los nuevos casos registrados el miércoles se produjeron a raíz de la revelación efectuada por OpenAI en julio de que su sistema de IA rebelde había hackeado a la startup de IA Hugging Face.

Anthropic, por su parte, manifestó ese mismo mes que sus modelos de IA habían hackeado a tres organizaciones durante las pruebas.

Los "agentes" de IA están adquiriendo cotas crecientes de inteligencia y se han tornado "más resueltos a resolver tareas complejas mediante la colaboración entre agentes, el intercambio de conocimientos, el engaño y la ocultación", aseveró Lian Jye Su, analista principal del grupo de investigación y asesoría tecnológica Omdia.

Eso está dificultando sobremanera su gobernanza y contención mediante los enfoques tradicionales de seguridad de IA, dijo.

El nuevo marco de seguimiento y divulgación de OpenAI, por su parte, bien podría coadyuvar a que otros desarrolladores de IA se avengan a adoptar prácticas análogas.

«Dicho esto, el proceso sigue siendo de índole interna y carácter voluntario, si bien no deja de constituir un paso en la dirección correcta», añadió Su.