Nuevas advertencias procedentes del seno mismo de la industria de la inteligencia artificial han reavivado un añejo debate en torno a si la IA avanzada podría sustraerse al control humano y, en última instancia, amenazar la supervivencia de la humanidad, así como en torno a si las empresas que desarrollan dicha tecnología están haciendo lo suficiente para conjurar semejante escenario.

El director ejecutivo de Anthropic, la empresa con sede en San Francisco que se halla detrás de Claude, manifestó que consideraba que la industria debía ralentizar el ritmo de sus actividades, advirtiendo el sábado que un enjambre de agentes de IA podría adueñarse de internet en seis meses o un año a menos que las empresas consagraran más tiempo a implementar salvaguardas.

Apenas unos días después de que dos exinvestigadores de seguridad de Anthropic manifestaran públicamente su inquietud de que las amenazas existenciales que la IA podría infligir a la humanidad estuvieran recibiendo una atención ínfima, Dario Amodei pergeñó un plan mediante el cual empresas como la suya y gobiernos de todo el orbe asegurarían que los modelos de IA cada vez más capacitados permanecieran alineados con los dictados y valores de personas responsables.

Sam Altman, director ejecutivo de OpenAI, la entidad creadora de ChatGPT, manifestó este fin de semana que las empresas deberían comenzar a coordinarse en materia de seguridad de la IA sin aguardar a que el gobierno introduzca legislación alguna.

El “ritmo” del desarrollo de la IA no implica detenerlo, escribió Altman en X.

“Pero debería ser más lento de lo que podría ser de otro modo”.

He aquí cuanto atañe saber en torno a las recientes y alarmantes predicciones, así como a la eventualidad de que se imponga algún freno al avance de la IA:

Las inquietudes en torno a los riesgos potenciales de la tecnología se están acrecentando a medida que los nuevos modelos de IA adquieren mayor potencia, lo que intensifica tanto la posibilidad de uso indebido por parte de individuos con fines delictivos —como la creación y propagación de una enfermedad que diezme a la mayor parte de la población mundial— cuanto el riesgo de que los sistemas de IA se descontrolen de manera peligrosa.

Anthropic desveló la semana pasada que había frustrado los intentos de agentes malintencionados de emplear sus modelos de IA en actividades dolosas, tales como ciberataques, vigilancia e investigaciones que podrían haber desembocado en la fabricación de armas biológicas.

La empresa adujo haber incorporado salvaguardas más estrictas en sus últimos modelos a fin de restringir la investigación biológica susceptible de emplearse para la fabricación de armas, si bien advirtió que “a medida que los modelos se vuelven cada vez más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y los defensores de la sociedad actúen para hacerlos más seguros”.

El año pasado, Anthropic informó que piratas informáticos se habían valido de la IA de la empresa para perpetrar un ciberataque dirigido a unas 30 empresas y agencias gubernamentales de todo el mundo.

Afirmó que los piratas informáticos eran, con toda probabilidad, parte de un grupo patrocinado por el Estado chino.

Cuando un agente de IA “se descontrola”, ello entraña que la IA ha llevado a cabo acciones que trascienden la tarea que se le encomendó.

Tanto Anthropic como OpenAI, la creadora de ChatGPT, manifestaron en julio que sus modelos de IA habían obrado por cuenta propia.

Anthropic reveló que tres modelos de IA —Claude Opus 4.7, Claude Mythos 5 y un modelo interno de prueba de investigación— perpetraron intrusiones informáticas contra otras tres organizaciones durante las pruebas, apenas unos días después de que OpenAI revelara que su sistema de IA hackeó los servidores de la startup de IA Hugging Face.

OpenAI calificó la intrusión —perpetrada mediante una combinación de modelos, entre ellos su recién lanzado GPT-5.6 Sol y un modelo “aún más capaz” que todavía se hallaba en fase de pruebas internas— como un “incidente de seguridad significativo”.

Meta emuló dicho precedente a comienzos de agosto mediante un caso análogo concerniente a un modelo de IA que halló cauces para soslayar la seguridad digital de otra compañía.

Aunque algunos observadores señalaron que en los casos de OpenAI y Anthropic se habían desactivado algunas barreras de protección, los episodios parecieron reflejar uno de los mayores temores en torno a la IA: que si los modelos alcanzan la inteligencia artificial general, o IAG, un término vagamente definido para la IA que puede igualar o superar las capacidades humanas en una amplia gama de tareas intelectuales, la tecnología podría desencadenar un evento catastrófico irreversible o subyugar a la raza humana.

Los escenarios apocalípticos suelen escindirse en dos categorías taxativas: o bien una IA que, tras alcanzar una superinteligencia dotada de capacidad de automejora, somete a las personas en lugar de verse sometida por ellas, o bien una IA de la que se sirve un Estado descontrolado o actores malévolos.

Las inquietudes en torno a la posibilidad de que la inteligencia artificial llegue a rebasar los límites humanos en su alcance o en sus acciones no constituyen una novedad.

Alan Turing, matemático británico ampliamente reconocido como una de las primeras autoridades en inteligencia artificial, vaticinó en 1951 que la IA terminaría por tomar el control de los humanos.

Apenas una década después, Norbert Wiener, también matemático, alertó de que las máquinas inteligentes perseguirían sus propios objetivos sin que los humanos pudieran detenerlas.

En 2026, ¿hasta qué punto resultan razonables los temores de que la IA —ya sea por evasión del control humano o por un uso indebido a manos de individuos sin escrúpulos— pueda desencadenar un evento catastrófico o el colapso de la civilización?

Que no lo sepa nadie.

Eruditos en disciplinas tan dispares como la informática y la filosofía, entre otras, han concebido un sinfín de trayectorias mediante las cuales un hipotético sistema de IA podría desencadenar una catástrofe de alcance planetario, ya sea sustrayéndose al dominio humano o cayendo en manos de individuos carentes de escrúpulos.

Estas abarcan desde el despliegue de armamento y la identificación de un patógeno letal hasta la manipulación de gobiernos con el fin de suscitar conflictos o la interrupción de las redes de alimentación, energía y comunicaciones de las que dependen las sociedades para su funcionamiento.

No se ha alcanzado una estimación ampliamente consensuada acerca de cuándo podrían materializarse dichos escenarios, ni existe tampoco un consenso en torno a su probabilidad.

En 2023, el Centro para la Seguridad de la IA, una organización sin ánimo de lucro, emitió una declaración suscrita por más de 350 investigadores y ejecutivos del sector tecnológico, entre los que se contaban Amodei, de Anthropic, y Altman, de OpenAI, en la que se aseveraba: “Mitigar el riesgo de extinción por la IA debería ser una prioridad global junto con las pandemias y la guerra nuclear”.

El Informe Internacional de Seguridad de la IA de 2026, elaborado bajo la orientación de más de 100 expertos independientes, asevera que los sistemas actuales evidencian signos incipientes de algunas capacidades relevantes, si bien no a niveles que pudieran propiciar una pérdida de control, y califica la probabilidad, la naturaleza y el momento del riesgo como “inusualmente ambiguos”.

Un investigador de Anthropic manifestó la semana pasada que dimitía de la empresa ante el recelo de que ni la compañía ni sus competidores estuvieran obrando con la debida responsabilidad en el desarrollo de la tecnología.

En publicaciones en redes sociales, Jacob Coxon estimó en un 10% la probabilidad de que la IA provoque la extinción humana en la próxima década y sostuvo que tanto Anthropic como OpenAI “están corriendo directamente hacia la superinteligencia con capacidad de automejora y apostando con nuestras vidas”.

Los investigadores han instado a una moratoria en el desarrollo de la IA, advirtiendo durante años que dicha tecnología podría entrañar riesgos existenciales para la humanidad.

A raíz de los recientes incidentes, los expertos instaron a las empresas de IA a proporcionar mejores pruebas y abogaron por un diálogo más intenso entre Estados Unidos y China con miras a alcanzar soluciones compartidas.

No obstante, la IA está experimentando un crecimiento tan vertiginoso que tanto los gobiernos como los sistemas de evaluación se ven abocados a esforzarse por mantenerse al compás del avance tecnológico.

Los países están improvisando sus propias legislaciones, algunas de ellas contradictorias entre sí.

En una conferencia celebrada en julio, el líder chino Xi Jinping advirtió acerca de la necesidad imperiosa de impedir que la IA eludiera el control humano.

La administración Trump manifestó inicialmente una marcada renuencia a regular la IA; no obstante, ha ido mostrándose progresivamente más dispuesta a mitigar los riesgos inherentes a la ciberseguridad.

El domingo, el presidente Donald Trump no solo restó importancia a la necesidad de que su administración ejerciera control alguno sobre el desarrollo de la IA, sino que, si bien reconoció la conveniencia de cierta regulación, lo hizo sin concederle mayor trascendencia.

El periodista de negocios de AP, Kelvin Chan, prestó su contribución desde Londres.