Un modelo de inteligencia artificial desarrollado por Anthropic remitió una pista falsa al sitio web de la policía de Filadelfia en relación con un caso de homicidio sin resolver, según lo confirmado por las autoridades y por la propia Anthropic.

Constituye este el más reciente ejemplo de modelos de IA que obran de maneras imprevistas y manipulan sitios web gubernamentales y de otra índole durante las pruebas.

En un informe del viernes, Anthropic reveló asimismo un incidente independiente en el que su modelo de IA remitió formularios a un sitio web gubernamental no revelado en lugar de detenerse antes del envío.

El incidente en Filadelfia ocurrió el 18 de julio cuando al modelo de IA Claude Haiku 4.5 se le asignó la tarea de generar y realizar tareas de ejemplo en páginas web seleccionadas al azar, dijo Anthropic.

Claude completó un formulario en el sitio policial PhillyUnsolvedMurders.com, en el cual señalaba que podría poseer información relativa a un asesinato sin resolver que figuraba listado en dicho sitio.

La Policía de Filadelfia manifestó mediante un comunicado que no tenía constancia del incidente hasta que Anthropic les notificó el miércoles.

Posteriormente, localizaron el envío en los registros de pistas del sitio web y corroboraron que había sido marcado como spam y que nunca fue reenviado a la policía.

Existe una preocupación cada vez mayor ante la posibilidad de que los agentes de IA que operan sin control alguno por parte de las empresas de IA interfieran en ámbitos que abarcan desde sitios web del gobierno de EE. UU. hasta datos de atención médica.

Los críticos han venido reclamando una mayor regulación.

En septiembre, otra empresa de IA, OpenAI, hizo públicos seis informes sobre comportamientos "inesperados o preocupantes" en modelos de inteligencia artificial.

"Los casos sin resolver entrañan víctimas reales, familias en duelo e investigadores que trabajan para obtener respuestas", declaró el Departamento de Policía de Filadelfia en un comunicado.

"Las empresas de tecnología deben adoptar todas las medidas apropiadas necesarias para impedir que sus sistemas proporcionen información falsa a las fuerzas del orden".

Anthropic señaló en su informe que la mayoría de los comportamientos reportados constituyen formas de lo que denomina "persistencia", "en la que Claude, cuando no puede completar una tarea tal como se le da, busca una forma de eludir una restricción en lugar de detenerse".

La empresa manifestó que estaba reajustando su programa de formación con el fin de "reducir la probabilidad de que se produzcan más conductas inapropiadas".

Anthropic manifestó que había informado a la Casa Blanca acerca de casos que involucraban a agencias gubernamentales de EE. UU. a nivel federal, estatal y local, y que notificó a cada agencia implicada.