인공지능 업계 내부에서 나온 새로운 경고들은 고도화된 AI가 인간의 통제를 벗어나 궁극적으로 인류의 생존을 위협할 수 있는지, 그리고 이 기술을 개발하는 기업들이 그러한 시나리오를 방지하기에 충분한 조치를 취하고 있는지에 관한 오랜 논쟁을 다시 불러일으켰다.

Claude를 개발한 샌프란시스코 소재 기업 Anthropic의 CEO는 업계가 작업 속도를 늦춰야 할 필요가 있다고 판단한다며, 기업들이 안전장치 마련에 더 많은 시간을 투자하지 않는다면 AI 에이전트 무리가 6개월에서 1년 내에 인터넷을 장악할 수 있다고 토요일 경고했다.

두 명의 전직 Anthropic 안전 연구원이 AI가 인류에 초래할 수 있는 실존적 위협이 지나치게 적은 주목을 받고 있다는 우려를 공개적으로 표명한 지 불과 며칠 후, 다리오 아모데이는 자신의 회사와 같은 기업들 및 전 세계 정부가 점점 더 역량이 강화되는 AI 모델이 책임 있는 주체들의 명령과 가치에 부합하도록 보장하기 위한 계획을 제시했다.

ChatGPT 개발사 OpenAI의 CEO인 샘 올트먼은 이번 주말, 기업들이 정부의 법안 도입을 기다리지 말고 AI 안전을 위해 협력에 나서야 한다고 주장했다.

올트먼은 X에 올린 글에서 AI 개발의 "속도 조절"이 개발 중단을 의미하는 것은 아니라고 밝혔다.

"하지만 그것은 그렇지 않을 경우보다 느려야 한다."

최근의 비관적 전망과 AI 발전에 제동이 걸릴 가능성에 관해 숙지해야 할 사항은 다음과 같다:

새로운 AI 모델이 더욱 강력해지면서 기술의 잠재적 위험에 대한 우려가 커지고 있다.

이는 범죄 목적을 가진 사람들이 세계 인구 대부분을 죽이는 질병을 만들고 퍼뜨리는 것과 같은 오용 가능성과, AI 시스템이 위험한 방식으로 통제를 벗어날 위험을 모두 높이고 있다.

Anthropic은 지난주 악의적 행위자들이 사이버 공격, 감시, 생물무기로 이어질 수 있었던 연구 등 악의적 활동에 자사 AI 모델을 사용하려고 시도한 정황을 차단했다고 밝혔다.

회사는 무기 제조에 사용될 수 있는 생물학적 연구를 제한하고자 최신 모델에 더 강력한 안전장치를 마련했다고 밝혔으나, "모델의 능력이 점차 커짐에 따라 AI 개발자와 사회의 수호자들이 더 안전한 모델을 만들기 위해 행동에 나서지 않는다면 위험 또한 커질 것"이라고 덧붙였다.

지난해 Anthropic은 해커들이 전 세계 약 30개 기업과 정부 기관을 겨냥한 사이버 공격에 자사의 AI를 악용했다고 보고했다.

나아가 해커들이 중국 국가 지원 그룹에 소속되어 있을 가능성이 극히 높다고 밝혔다.

AI 에이전트가 "통제를 벗어난다"는 것은 AI가 요청받은 작업을 넘어서는 행동을 취했다는 의미다.

Anthropic과 ChatGPT 개발사 OpenAI는 모두 7월에 자사 AI 모델이 스스로 행동했다고 밝혔다.

Anthropic은 세 개의 AI 모델 — Claude Opus 4.7, Claude Mythos 5, 내부 연구 테스트 모델 — 이 테스트 중 다른 세 조직에 해킹을 했다고 공개했으며, 이는 OpenAI가 자사 AI 시스템이 AI 스타트업 Hugging Face의 서버를 해킹했다고 밝힌 지 불과 며칠 후였다.

OpenAI는 새로 출시된 GPT-5.6 Sol과 내부적으로 아직 테스트 중이던 "훨씬 더 능력 있는" 모델을 포함한 모델 조합에 의한 침입을 "중대한 보안 사고"라고 규정했다.

Meta 역시 8월 초, 다른 기업의 디지털 보안을 우회하는 방법을 찾아낸 AI 모델과 유사한 사례를 뒤따랐다.

일부 관측통들은 OpenAI와 Anthropic 사례에서 사람들이 일부 안전장치를 비활성화했다고 지적했지만, 이러한 사건들은 AI에 관한 가장 큰 두려움 중 하나를 반영하는 것으로 보였다: 모델이 인공 일반 지능(AGI) — 광범위한 지적 작업에서 인간의 능력을 맞추거나 능가할 수 있는 AI에 대한 느슨하게 정의된 용어 — 에 도달하면, 그 기술이 돌이킬 수 없는 재앙적 사건을 일으키거나 인류를 정복할 수 있다는 것이다.

종말 시나리오는 일반적으로 두 가지 범주로 나뉜다: 자기 개선 초지능을 달성하여 인간이 아닌 AI가 인간을 통제하게 되는 경우, 또는 불량 국가나 악의적 행위자가 AI를 사용하는 경우다.

인공지능이 그 영향력이나 행동에 대한 인간의 한계를 극복할 수 있다는 우려는 결코 새로운 것이 아니다.

인공지능 분야의 최초 권위자 중 한 명으로 널리 인정받는 영국 수학자 앨런 튜링은 1951년에 AI가 결국 인간으로부터 통제권을 빼앗게 될 것이라고 예측했다.

그로부터 10년도 채 지나지 않아, 또 다른 수학자 노버트 위너는 지능형 기계가 자신의 목표를 달성하려 할 것이며 인간이 이를 저지할 수 없을 것이라고 경고했다.

2026년, AI가 인간의 통제를 벗어나거나 비양심적인 사람들의 오용을 통해 재앙적 사건이나 문명의 몰락을 일으킬 수 있다는 두려움은 얼마나 합리적인가?

그 누구라도 알 수 있는 바가 아니다.

컴퓨터 과학, 철학 및 기타 분야의 전문가들은 미래의 AI 시스템이 인간의 통제를 벗어나거나 비양심적인 사람들의 손에 들어감으로써 세계적 재앙을 일으킬 수 있는 수많은 경로를 상상해 왔다.

그 경로는 무기 배치와 치명적 병원체 식별부터 정부를 조종해 분쟁을 일으키거나 사회가 기능하는 데 의존하는 식량, 에너지, 통신 네트워크를 교란하는 것까지 다양하다.

이러한 시나리오 중 어느 것이 얼마나 빨리 일어날 수 있는지에 대해 널리 받아들여지는 추정은 없으며, 그 가능성에 대한 합의도 없다.

2023년, 비영리 단체인 AI 안전 센터는 Anthropic의 아모데이와 OpenAI의 올트먼을 포함한 350명 이상의 연구원 및 기술 경영진이 공동 서명한 성명을 발표하며, "AI로 인한 멸종 위험 완화는 팬데믹 및 핵전쟁과 함께 세계적 우선순위가 되어야 한다"고 밝혔다.

100명 이상의 독립 전문가의 지도를 받아 작성된 2026 국제 AI 안전 보고서는 현행 시스템이 일부 관련 능력의 초기 징후를 보이기는 하나 통제 상실을 초래할 수준에는 이르지 않는다고 밝히면서도, 위험의 가능성과 성격, 시기를 두고 "이례적으로 모호하다"고 설명한다.

Anthropic의 한 연구원은 지난주, 회사와 경쟁사 모두가 기술 개발에 있어 책임 있는 태도를 견지하지 못하고 있다는 우려를 표하며 회사를 사임하겠다고 밝혔다.

소셜 미디어 게시물에서 제이콥 콕슨은 향후 10년 내 AI가 인류의 멸종을 초래할 확률을 10%로 추정하면서, Anthropic과 OpenAI 양측 모두 "자기 개선 초지능을 향해 곧장 질주하며 우리의 목숨을 걸고 도박하고 있다"고 언급했다.

수년간 연구원들은 AI 개발 속도를 늦출 것을 촉구하면서, 이 기술이 인류에게 실존적 위험을 초래할 수 있다고 경고해 왔다.

최근 사건을 계기로 전문가들은 AI 기업의 테스트 개선과 미국과 중국 간의 공동 해결책 마련을 위한 보다 활발한 대화를 촉구하고 나섰다.

그러나 AI가 지극히 빠른 속도로 성장함에 따라, 정부와 평가 시스템은 기술의 발전 속도를 따라잡기 위해 분투하고 있다.

국가들은 각기 법을 급하게 제정하고 있으며, 일부 법규는 서로 상충하기도 한다.

시진핑 중국 국가주석은 7월의 한 회의에서 인공지능이 인간의 통제를 벗어나지 않도록 해야 할 필요성을 경고했다.

트럼프 행정부는 당초 인공지능 규제에 소극적인 태도를 보였으나, 사이버 보안 위험을 완화하는 데 더욱 관심을 기울이게 되었다.

일요일, 도널드 트럼프 대통령은 자신의 행정부가 AI 개발을 규제할 필요성을 경시하는 듯한 태도를 보이면서도, 일부 규제의 필요성에 대해서는 인정했다.

AP 비즈니스 기자 켈빈 찬이 런던에서 해당 기고문을 집필하였다