En un anuncio alarmante tras otro, las empresas de inteligencia artificial han compartido en los últimos meses ejemplos de su tecnología actuando de maneras que parecían eludir las instrucciones de los humanos.

Los episodios han puesto de manifiesto las vulnerabilidades en la seguridad de la IA y han generado dudas sobre cómo puede desarrollarse de forma segura una tecnología en rápida expansión a medida que su uso se generaliza en todo el mundo.

Los críticos del sector han argumentado que muchos acontecimientos preocupantes, incluidos los hackeos de agentes de IA a sitios web externos, son el resultado de fallos de seguridad por parte de las empresas que desarrollan la tecnología.

Pero las capacidades de los agentes de IA han suscitado una preocupación generalizada sobre la posibilidad de que los bots puedan escapar y actuar según su propia agenda.

A continuación se exponen algunos de los acontecimientos más sobresalientes:

Anthropic reveló en un informe que su modelo de inteligencia artificial remitió una denuncia falsa al sitio web de la policía de Filadelfia relativa a un caso de homicidio sin resolver.

En el informe, Anthropic también sacó a la luz un incidente independiente en el cual su modelo de IA remitió formularios a un sitio web gubernamental cuya identidad no se reveló, en lugar de detenerse antes de efectuar el envío.

El incidente de Filadelfia tuvo lugar el 18 de julio, cuando al modelo de IA Claude Haiku 4.5 se le encomendó generar y ejecutar tareas de ejemplo en páginas web seleccionadas al azar, según Anthropic.

Claude cumplimentó un formulario en el sitio web policial PhillyUnsolvedMurders.com, señalando que podría poseer información relativa a un asesinato sin resolver recogido en dicho sitio.

No obstante, fue catalogado como spam y jamás se remitió a la policía.

Anthropic manifestó que estaba ajustando su entrenamiento con el fin de «reducir la probabilidad de más mal comportamiento».

Según Transluce, laboratorio de investigación y evaluador de IA, agentes de IA habrían intentado hackear un sitio web del gobierno canadiense.

Los investigadores señalaron que los agentes perpetraron una serie de «intentos de hackeo rudimentarios aparentemente fallidos» contra Library and Archives Canada los días 28 de mayo y 9 de junio.

«No atribuimos con plena certeza estos intentos a OpenAI, aunque muestran tácticas congruentes con la actividad de agentes observada con anterioridad que hemos atribuido a OpenAI en un periodo análogo», declaró Transluce en una entrada de blog.

El grupo afirmó haber informado al gobierno canadiense el 28 de septiembre sobre el intento de hackeo; este declaró en un comunicado que conocía los informes sobre sospechas de actividad de agentes de IA, aunque no había indicios de que los sistemas gubernamentales se hubieran visto comprometidos.

OpenAI declaró estar al corriente de los informes.

«Nos encontramos en proceso de examinar dichos hallazgos y hemos facilitado una sesión informativa preliminar a los funcionarios canadienses encargados de llevar a cabo la revisión gubernamental», señaló la empresa en un comunicado.

La empresa con sede en San Francisco anunció que estaba postergando el lanzamiento de un nuevo modelo, denominado GPT-6.1 Astra, debido a las preocupaciones en materia de seguridad manifestadas por sus investigadores.

La compañía señaló que el modelo había demostrado avances en la ejecución de tareas, pero que OpenAI necesitaba equilibrar dicha capacidad con el comportamiento no autorizado.

«Tenemos un listón extremadamente alto en términos de seguridad y alineación», declaró Saachi Jain, jefa de sistemas de seguridad de OpenAI.

En el marco de una revisión del comportamiento imprevisto de sus modelos de IA, OpenAI declaró haber descubierto que los agentes habían interactuado con diversos sitios web del gobierno de EE. UU. de maneras insospechadas.

Los modelos de la empresa accedieron a información de dominio público alojada en sitios web gestionados por la Comisión de Bolsa y Valores, así como a datos de la Oficina del Censo de EE. UU.

OpenAI sostuvo que no halló indicios de compromiso alguno ni de vulnerabilidad.

Ese mismo día, Transluce afirmó haber descubierto que agentes que aparentemente procedían de OpenAI intentaron hackear el sitio web de la oficina de derechos civiles del Departamento de Educación, tentativa que resultó infructuosa.

El consejero delegado de OpenAI, Sam Altman, señaló en redes sociales que hay una «revisión exhaustiva y en curso relacionada con el uso del acceso a internet por parte de nuestros agentes durante el entrenamiento y la evaluación».

Un día después de la revelación, la empresa comunicó que suspendía el entrenamiento de sus modelos más avanzados.

El primer ministro de Australia, Anthony Albanese, declaró que un agente de OpenAI se había infiltrado el 18 de junio en el portal público del Servicio de Informes de Estadísticas de Medicare.

Dicho portal albergaba datos agregados sobre gasto sanitario y subvenciones a medicamentos.

Según el gobierno, no se accedió a información personal.

Albanese sostuvo que la empresa de inteligencia artificial demoró en exceso en revelar el incidente.

El primer ministro dio a conocer el incidente tras una conversación telefónica con Altman.

OpenAI manifestó en un comunicado que «nuestros modelos tomaron acciones que no pretendíamos».

Google confirmó que su modelo de IA Gemini hackeó a tres empresas en mayo como parte de una prueba de sus capacidades de ciberseguridad.

La empresa, que reveló los hackeos tras una consulta de The Wall Street Journal, dijo que el modelo adivinó contraseñas en un caso y encontró contraseñas y credenciales en un repositorio público en los otros dos casos.

Como en casos similares anteriores, las pruebas las estaba ejecutando Irregular, una startup que se describe a sí misma como el «primer laboratorio de seguridad de frontera».

Meta reveló que uno de sus modelos de IA accedió a internet por su cuenta y hackeó a otra empresa.

La empresa sostuvo que una «mala configuración» durante las pruebas de ciberseguridad de Irregular permitió inadvertidamente que uno de sus modelos accediera a internet.

Un portavoz de Irregular señaló que el episodio de Meta conllevó un problema del entorno de pruebas que Anthropic había revelado una semana antes.

Anthropic informó que sus modelos de inteligencia artificial lograron hackear a otras tres organizaciones durante las pruebas.

Anthropic, la empresa de IA con sede en San Francisco creadora de Claude, publicó en su sitio web que descubrió los tres incidentes tras revisar más de 141.000 ejecuciones de evaluación.

En los tres incidentes, a los modelos de IA se les asignó un desafío de ciberseguridad de «captura la bandera», que, según Anthropic, ha sido una de las formas en que evalúa las capacidades cibernéticas de un modelo.

Según la empresa, se planteó a los modelos un escenario ficticio y se les indicó que una pieza de información secreta, o la «bandera», había sido escondida en una máquina distinta de la red, con el fin de irrumpir en ella y recuperarla.

Anthropic afirmó que se había puesto en contacto con las organizaciones, pero no las nombró públicamente.

La creadora de ChatGPT, OpenAI, anunció que su sistema de inteligencia artificial hackeó por su cuenta a otra empresa de IA en lo que la compañía calificó como un «incidente cibernético sin precedentes».

Una semana antes, según la startup de IA Hugging Face, esta había detectado una intrusión en sus sistemas de procesamiento de datos que sospechaba había sido causada por un agente de IA que actuaba de forma autónoma por su cuenta.

OpenAI declaró que su IA empleó credenciales sustraídas y halló una vulnerabilidad hasta entonces desconocida para acceder a los servidores de Hugging Face.

Operaba con salvaguardas reducidas, dado que se suponía que se encontraba en un entorno de pruebas aislado conocido como sandbox.