Expertos en inteligencia artificial advirtieron el lunes a los líderes de Nueva York sobre los peligros de esta tecnología emergente, y pidieron una mayor supervisión ante el avance de los gobiernos locales para responder a las crecientes preocupaciones de que estos sistemas podrían poner en peligro a la humanidad.

Durante una audiencia del Concejo Municipal de Nueva York, empleados recién dimitidos de Anthropic, OpenAI y Google DeepMind describieron una cultura imprudente en estas empresas, señalando que las mayores compañías tecnológicas compiten por desarrollar tecnología que no saben controlar.

Las empresas operan con una mentalidad de startup: avanza deprisa, rompe cosas, arréglalas después.

Eso sirve para una aplicación para compartir fotos.

No sirve para construir la tecnología más poderosa jamás creada", dijo Jacob Coxon, un exingeniero de Anthropic que se ha erigido en una voz destacada a favor de la regulación.

Los gobiernos estatales y municipales han venido sopesando diversas fórmulas para regular la IA, mientras que la administración Trump ha adoptado un enfoque pasivo y el Congreso ha evidenciado una marcada inactividad.

El presidente Donald Trump ha tildado de "engaño" los temores en torno a la IA y suscribió a finales del mes pasado un acuerdo que detalla una serie de medidas voluntarias para que las empresas las adopten y que, en gran medida, les concede margen para autocontrolarse.

Coxon era un ingeniero de perfil más bien discreto en Anthropic hasta que anunció su partida mediante una serie de publicaciones en redes sociales que acapararon la atención a escala mundial.

Le dijo al Concejo que la IA podría reportar enormes beneficios, pero que, a falta de transparencia y salvaguardias, lo más probable es que las cosas se descontrolen.

"En la trayectoria actual, creo que es más probable que la humanidad pierda el control ante estas IA a que no lo haga, lo que podría acabar en la extinción humana", dijo Coxon.

Pocos días después de que Coxon dimitiera y expresara sus temores sobre los peores escenarios, altos ejecutivos, entre ellos Dario Amodei de Anthropic, Sam Altman de OpenAI y Elon Musk de SpaceXAI, coincidieron en que el desarrollo de la IA necesita ralentizarse.

Las empresas de IA han detallado las medidas que han adoptado para priorizar la seguridad, pero una desaceleración coordinada de la industria enfrenta varios obstáculos.

Un panel de empleados de empresas de IA —en representación de los gigantes tecnológicos OpenAI, Anthropic, Google y Meta— también testificó el lunes en la audiencia de Manhattan, diciendo a los funcionarios que sus sistemas ya están mejorando la vida diaria de las personas y subrayando que están enfocados intensamente en la seguridad.

Anthropic y OpenAI han manifestado que sus productos avanzados de IA requieren ser regulados, y los representantes de dichas empresas en la audiencia expresaron su apertura hacia algunas de las sugerencias del Concejo.

"Comparto su compromiso de velar por que la tecnología se desarrolle de manera segura y por que sus beneficios se distribuyan de forma amplia", declaró Morgan Dwyer, de OpenAI.

En un momento dado de la audiencia, Julie Menin, presidenta del Concejo Municipal, solicitó a cada uno de los representantes de las empresas que "cuantificaran el riesgo que plantea la IA en el peor escenario catastrófico".

Dwyer respondió: "No lo sé; tampoco creo que importe si es una probabilidad del 1%, 10% o 20% de que algo catastrófico salga mal.

Ninguno de estos niveles es remotamente aceptable.

No deberíamos entrenar modelos para los que no podamos argumentar de manera extremadamente sólida que podemos mantenerlos bajo control humano".

Menin tildó la respuesta de "frívola en el mejor de los casos".

"Diría que el porcentaje de probabilidad resulta irrelevante.

Lo que verdaderamente importa es el compromiso con la seguridad, y a eso precisamente es a lo que OpenAI está comprometida", dijo Dwyer.

El Concejo Municipal está considerando varias regulaciones de IA, entre ellas propuestas que exigirían a las empresas divulgar información sobre herramientas de IA, requerir aprobación de terceros para sistemas de IA en la ciudad y permitir que los denunciantes reciban una parte de las multas de las empresas de IA que violen las leyes.

Por su parte, la gobernadora de Nueva York, Kathy Hochul, demócrata, ha avanzado en la imposición de estándares de información y transparencia en torno a la IA, al igual que gobernadores de otros lugares, aunque su poder es algo limitado, ya que la tecnología de IA puede cruzar fronteras estatales y también globales.

Logan Graham, de Anthropic, declaró al Concejo que la compañía acoge con beneplácito la "regulación inteligente" y que los gobiernos estatales y locales desempeñan un papel en la elaboración de marcos.

«La IA es tan poderosa que equivocarse tiene consecuencias reales, para individuos, instituciones y la confianza pública», dijo.

«Tenemos que trabajar incansablemente para hacer la ciencia de mitigar los riesgos».