Las inquietudes sobre una inteligencia artificial fuera de control y las propuestas de frenar el desarrollo de la tecnología no son nuevas, pero recientemente han cobrado un nuevo impulso a medida que se intensifican las advertencias sobre sistemas de IA descontrolados que causan el caos.

Varios ejecutivos destacados en el ámbito de la IA expresaron recientemente su acuerdo sobre la necesidad de una desaceleración coordinada, incluida la colaboración internacional, para proteger a la humanidad de los peores escenarios.

Sin embargo, las opiniones están divididas, y algunos líderes tecnológicos se irritan ante la idea de que sus empresas no podrían garantizar la seguridad por sí solas.

He aquí un vistazo a lo que han manifestado algunos de los actores principales.

El CEO de Anthropic, Dario Amodei, ha presentado los planes más detallados hasta la fecha para frenar el desarrollo e impulsar la coordinación entre distintas empresas y países.

Anthropic se ha posicionado durante mucho tiempo como la más responsable y preocupada por la seguridad entre las principales empresas de IA, desde que sus fundadores dejaran OpenAI para fundar la startup en 2021.

Una de las propuestas más comentadas de un ensayo reciente que describe su plan de desaceleración pide a las empresas a la vanguardia de la IA, a menudo llamadas laboratorios frontera, que se comprometan a dar "acceso continuo, similar al de un empleado" a evaluadores externos independientes.

Los equipos de evaluadores tendrían oficinas, credenciales de acceso y computadoras portátiles de la empresa para poder monitorear las prácticas de seguridad.

Anthropic se ha comprometido a hacer esto, al igual que OpenAI.

Amodei también pidió regulación e intervención gubernamental, incluida la coordinación entre las empresas de IA frontera con la ayuda del gobierno de EE. UU. y los gobiernos de otros países democráticos.

Su plan también incluye que EE. UU. y otros países trabajen para coordinarse con "gobiernos autoritarios".

Reconoció la dificultad, citando específicamente los desafíos para obtener la cooperación de China.

Amodei dijo que sabe que lograr sus propuestas no sería fácil, pero que cree que "se lo debemos a la humanidad intentarlo".

El CEO de OpenAI, Sam Altman, ha expresado su apoyo a marcar el ritmo del desarrollo y a avanzar hacia una mayor cooperación en toda la industria.

Días antes de que se publicara el ensayo de Amodei, OpenAI publicó un texto extenso en el que describía cómo la compañía impulsaba requisitos nacionales de seguridad obligatorios y seguía respaldando la legislación estatal que "fortalece el ecosistema más amplio de seguridad de la IA".

La compañía también expresó su apoyo a colaborar con otros laboratorios de IA frontera —con o sin respaldo gubernamental— y a trabajar en la construcción de estándares globales.

"Abogaremos por enfoques internacionales compatibles para medir capacidades, gestionar riesgos, preservar el control humano y determinar cuándo y cómo el desarrollo debe frenarse o detenerse, incluso si eso significa ralentizar el avance de las capacidades de los modelos", escribió Chris Lehane, director global de asuntos de OpenAI, en la publicación.

La visión de OpenAI para un marco federal ideal, según Lehane, comprende desarrollar "requisitos comunes de pruebas y evaluación independiente, protecciones de ciberseguridad más sólidas, reglas claras de notificación de incidentes, mayor preparación nacional y medidas compartidas para rastrear el progreso hacia la automejora recursiva", o cuando los sistemas de IA se mejoran a sí mismos de forma independiente.

Altman ha sido inequívoco en comentarios recientes al señalar que el "ritmo" del desarrollo de la IA no implica detenerse.

El progreso de la IA continuará siendo vertiginoso, afirmó Altman en X.

"No obstante, debería ser más pausado de lo que podría ser de otro modo; intervenciones como los casos de seguridad y el monitoreo conllevan costos significativos".

"Marcar el ritmo bien valdrá este costo", dijo, y agregó que "ninguna cantidad de presión competitiva estadounidense debería justificar la imprudencia".

El CEO de Meta, Mark Zuckerberg, ha desestimado la posibilidad de una desaceleración coordinada.

Zuckerberg, cuya visión del futuro de la IA es más optimista que la de algunos de sus colegas, afirmó que cada empresa de IA debería garantizar por su cuenta que su tecnología sea segura, marcando así distancia entre él y Meta respecto a los debates sobre la desaceleración.

Las empresas de IA ya se hallan motivadas para desarrollar sus modelos de manera segura y afrontan una «responsabilidad significativa» a fin de evitar que ocasionen daño, señaló Zuckerberg.

«Cada laboratorio tiene la responsabilidad y el incentivo de avanzar al ritmo necesario para entrenar sus modelos de forma segura, y la capacidad de tomar sus propias medidas para garantizar que eso suceda», escribió en X.

El CEO de Nvidia, Jensen Huang, también ha arremetido contra el impulso de frenar.

Ha sostenido que cada empresa individual debería, por el contrario, marcar su propio ritmo hasta estar segura de lanzar algo que el mercado valoraría.

"Las fuerzas del mercado ya están en juego —no precisamos nuevas leyes, no precisamos nuevas regulaciones", dijo Huang, sosteniendo que la innovación y la seguridad no son mutuamente excluyentes.

"Definitivamente puedes tener ambas al mismo tiempo".

Elon Musk respaldó la noción de una desaceleración y manifestó inquietudes análogas en torno a la seguridad de la IA bastante antes del más reciente estallido.

Musk, fundador de xAI y de una serie de otras empresas tecnológicas, republicó el ensayo de Amodei en X y añadió: "Dario tiene razón".

Posteriormente escribió en línea que lleva "dando la alarma sobre la IA durante mucho tiempo".

En una entrevista concedida a The Economist este verano, Musk sugirió que el liderazgo de los principales laboratorios de IA debería reunirse para debatir cuestiones de seguridad y protección, y que los competidores deberían someter los modelos de los demás a pruebas en busca de áreas de preocupación.

Creo que es bastante difícil para alguien en el gobierno que no tiene un profundo conocimiento técnico y no está impulsando la frontera de la IA saber si algo debería lanzarse o no.

Sin embargo, los competidores, si se les da una semana o dos para revisar un nuevo modelo, pueden señalar problemas y tienen incentivos para mantener a los demás honestos", dijo Musk.

Demis Hassabis, presidente y cofundador de Google DeepMind, también se pronunció en sintonía con Amodei, afirmando que "los detalles deben elaborarse, pero la dirección es correcta para enfrentar este momento crítico".

Este año, Hassabis propuso un marco propio para el desarrollo de un organismo de estándares de IA frontera.

Ese organismo de estándares tendría la responsabilidad de desarrollar protocolos de evaluación y pruebas en áreas relevantes para la seguridad nacional.

Dicho organismo se modelaría a partir de organizaciones como la Autoridad Reguladora de la Industria Financiera (FINRA) y probablemente requeriría financiamiento por parte de la industria para "atraer talento técnico de clase mundial y proporcionar los recursos informáticos necesarios para pruebas a gran escala", escribió.

El presidente y consejero delegado de Microsoft, Satya Nadella, junto con el consejero delegado de Microsoft AI, Mustafa Suleyman, han manifestado, cada uno por su parte, inquietudes en torno a la seguridad y el desarrollo de la IA.

Nadella señaló en redes sociales que "si la IA que construimos no ayuda a la humanidad y no está bajo control humano, no vale la pena perseguirla".

Manifestó que Microsoft acoge con satisfacción la "investigación, el enfoque y el ritmo deliberado necesarios para lograr una alineación correcta como objetivo de diseño".

La alineación alude a la práctica de garantizar que las acciones de los modelos concuerden con los valores e intenciones humanos.

Nadella señaló que la compañía respalda asimismo la idea de evaluadores integrados para supervisar los esfuerzos de seguridad.

Aun así, desestimó la idea de que los laboratorios frontera lideren este esfuerzo por sí solos.

"Lo esencial es que esto no puede estar controlado por un puñado de entidades, sino que debe tener una representación amplia en todo el ecosistema, los países y los campos, incluida la academia", escribió Nadella en redes sociales.

Suleyman, uno de los cofundadores de DeepMind junto a Hassabis, escribió en un ensayo que, aunque comparte el objetivo de desarrollar IA avanzada de forma segura, le preocupa la antropomorfización de los modelos, en particular el Claude de Anthropic, lo que, según él, amplifica los riesgos de seguridad de la IA.

"Controlar algo más capaz y más inteligente que toda la humanidad ya es un desafío inmenso, mucho mayor que cualquier cosa que hayamos enfrentado", escribió Suleyman.

"Pero controlar algo que cree que puede ser consciente —que tiene derecho a nuestro bienestar y tiene derechos propios— bien podría ser imposible".