Nuevas advertencias desde dentro de la industria de la inteligencia artificial han reavivado un viejo debate sobre si la IA avanzada podría escapar del control humano y, en última instancia, amenazar la supervivencia de la humanidad, así como sobre si las empresas que desarrollan esta tecnología hacen lo suficiente para prevenir tal escenario.

El director ejecutivo de Anthropic, la empresa de San Francisco detrás de Claude, dijo que pensaba que la industria necesitaba reducir la velocidad de su trabajo, advirtiendo el sábado que un enjambre de agentes de IA podría apoderarse de internet en seis meses o un año a menos que las empresas dedicaran más tiempo a implementar salvaguardas.

Pocos días después de que dos exinvestigadores de seguridad de Anthropic expresaran públicamente su preocupación por la escasa atención que recibían las amenazas existenciales que la IA podría plantear a la humanidad, Dario Amodei esbozó un plan para que empresas como la suya y gobiernos de todo el mundo garanticen que los modelos de IA cada vez más capaces permanezcan alineados con los comandos y valores de personas responsables.

Sam Altman, director ejecutivo de OpenAI, la empresa creadora de ChatGPT, señaló este fin de semana que las compañías deberían comenzar a coordinarse en materia de seguridad de la IA sin aguardar a que el gobierno introduzca legislación alguna.

El “ritmo” del desarrollo de la IA no implica detenerlo, escribió Altman en X.

“Pero debería ser más lento de lo que podría ser de otro modo”.

He aquí lo que conviene saber acerca de las recientes y alarmantes predicciones, así como de la posibilidad de que se ponga algún freno al avance de la IA:

Las preocupaciones sobre los riesgos potenciales de la tecnología van en aumento a medida que los nuevos modelos de IA se vuelven más potentes, lo que intensifica tanto la posibilidad de un uso indebido por parte de personas con fines delictivos —como crear y propagar una enfermedad que mate a la mayor parte de la población mundial— como el riesgo de que los sistemas de IA se descontrolen de manera peligrosa.

Anthropic reveló la semana pasada que bloqueó los esfuerzos de malos actores por utilizar sus modelos de IA en actividades maliciosas, como ciberataques, vigilancia e investigaciones que podrían haber conducido a armas biológicas.

La empresa afirmó haber incorporado salvaguardas más estrictas en sus últimos modelos para restringir la investigación biológica que podría utilizarse para fabricar armas, aunque advirtió que “a medida que los modelos se vuelven cada vez más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y los defensores de la sociedad actúen para hacerlos más seguros”.

El año pasado, Anthropic informó que unos piratas informáticos habían utilizado la IA de la empresa en un ciberataque dirigido contra unas 30 empresas y agencias gubernamentales de todo el mundo.

Asimismo, señaló que los piratas informáticos formaban muy probablemente parte de un grupo patrocinado por el Estado chino.

Cuando un agente de IA “se descontrola”, ello implica que la IA ha llevado a cabo acciones que trascienden la tarea que se le había encomendado.

Tanto Anthropic como OpenAI, la creadora de ChatGPT, manifestaron en julio que sus modelos de IA habían actuado por iniciativa propia.

Anthropic desveló que tres de sus modelos de IA —Claude Opus 4.7, Claude Mythos 5 y un modelo interno de prueba de investigación— hackearon a otras tres organizaciones durante las pruebas, apenas unos días después de que OpenAI diera a conocer que su sistema de IA había hackeado los servidores de la startup de IA Hugging Face.

OpenAI describió la intrusión, llevada a cabo mediante una combinación de modelos —entre ellos su recién lanzado GPT-5.6 Sol y un modelo “aún más capaz” que todavía se estaba probando internamente—, como un “incidente de seguridad significativo”.

Meta siguió el ejemplo a principios de agosto con un caso análogo de un modelo de IA que halló maneras de sortear la seguridad digital de otra compañía.

Aunque algunos observadores señalaron que en los casos de OpenAI y Anthropic se habían desactivado algunas barreras de protección, los episodios parecieron reflejar uno de los mayores temores en torno a la IA: que si los modelos alcanzan la inteligencia artificial general, o IAG, un término vagamente definido para la IA que puede igualar o superar las capacidades humanas en una amplia gama de tareas intelectuales, la tecnología podría desencadenar un evento catastrófico irreversible o subyugar a la raza humana.

Los escenarios apocalípticos suelen dividirse en dos categorías: una IA que alcanza una superinteligencia con capacidad de automejora y controla a las personas en lugar de viceversa, o una IA utilizada por un Estado descontrolado o actores malévolos.

Las preocupaciones sobre la posibilidad de que la inteligencia artificial supere los límites humanos en su alcance o acciones no son nuevas.

Alan Turing, matemático británico ampliamente considerado una de las primeras autoridades en materia de inteligencia artificial, vaticinó en 1951 que la IA terminaría por tomar el control de los humanos.

Apenas una década después, Norbert Wiener, también matemático, advirtió que las máquinas inteligentes perseguirían sus propios objetivos y que los humanos serían incapaces de detenerlas.

En 2026, ¿en qué medida están justificados los temores de que la IA, ya sea escapando del control humano o mediante un uso indebido por parte de personas sin escrúpulos, pueda causar un evento catastrófico o la caída de la civilización?

No existe persona alguna que esté al tanto de ello.

Expertos en informática, filosofía y otros campos han imaginado numerosas rutas por las cuales un futuro sistema de IA podría desencadenar una catástrofe global, ya sea escapando del control humano o en manos de personas sin escrúpulos.

Estas rutas abarcan desde el despliegue de armas y la identificación de un patógeno letal hasta la manipulación de gobiernos para provocar conflictos o la interrupción de las redes de alimentación, energía y comunicaciones de las que dependen las sociedades para funcionar.

No existe una estimación ampliamente aceptada sobre cuándo podrían ocurrir estos escenarios ni un consenso sobre su probabilidad.

En 2023, el Centro para la Seguridad de la IA, una organización sin ánimo de lucro, emitió una declaración suscrita por más de 350 investigadores y ejecutivos tecnológicos, entre ellos Amodei, de Anthropic, y Altman, de OpenAI, en la que se afirmaba: “Mitigar el riesgo de extinción por la IA debería ser una prioridad global junto con las pandemias y la guerra nuclear”.

El Informe Internacional de Seguridad de la IA de 2026, elaborado con la orientación de más de 100 expertos independientes, señala que los sistemas actuales muestran indicios tempranos de algunas capacidades relevantes, aunque no a niveles que podrían permitir una pérdida de control, y califica la probabilidad, la naturaleza y el momento del riesgo como “inusualmente ambiguos”.

Un investigador de Anthropic manifestó la semana pasada que dimitía de la empresa debido a sus preocupaciones de que ni la compañía ni sus competidores estuvieran actuando de manera responsable en el desarrollo de la tecnología.

En publicaciones en redes sociales, Jacob Coxon estimó en un 10% la probabilidad de que la IA cause la extinción humana en la próxima década y afirmó que tanto Anthropic como OpenAI “están corriendo directamente hacia la superinteligencia con capacidad de automejora y apostando con nuestras vidas”.

Los investigadores han instado a una ralentización del desarrollo de la IA y llevan años advirtiendo que esta tecnología podría entrañar riesgos existenciales para la humanidad.

A raíz de los recientes incidentes, los expertos instaron a las empresas de IA a proporcionar pruebas más rigurosas y abogaron por un mayor diálogo entre Estados Unidos y China para alcanzar soluciones compartidas.

No obstante, la IA está experimentando un crecimiento tan vertiginoso que tanto los gobiernos como los sistemas de evaluación se esfuerzan por mantenerse al compás de dicha tecnología.

Los países están elaborando sus propias legislaciones de manera improvisada, algunas de ellas contradictorias entre sí.

En una conferencia celebrada en julio, el líder chino Xi Jinping advirtió sobre la necesidad de impedir que la IA eluda el control humano.

La administración Trump manifestó inicialmente cierta renuencia a regular la IA, aunque ha ido mostrándose cada vez más dispuesta a mitigar los riesgos de ciberseguridad.

El domingo, el presidente Donald Trump minimizó la necesidad de que su administración ejerciera control sobre el desarrollo de la IA, si bien reconoció la conveniencia de cierta regulación.

El periodista de negocios de AP, Kelvin Chan, realizó su contribución desde Londres.