인공지능 업계 내부에서 제기된 새로운 경고들은, 고도로 정교화된 AI가 인간의 통제를 초월하여 궁극적으로 인류의 존속을 위협할 가능성이 있는지, 그리고 이러한 기술을 개발하는 기업들이 그러한 시나리오를 미연에 방지하기에 충분한 조치를 강구하고 있는지에 관한 유구한 논쟁을 재점화시켰다.

Claude를 개발한 샌프란시스코 소재 기업 Anthropic의 CEO는 업계가 작업 속도를 완화할 필요가 있다고 판단한다며, 기업들이 안전장치 마련에 더 많은 시간을 할애하지 않을 경우 AI 에이전트 무리가 6개월에서 1년 이내에 인터넷을 장악할 수 있다고 토요일 경고했다.

두 명의 전직 Anthropic 안전 연구원이 AI가 인류에 초래할 수 있는 실존적 위협이 지나치게 미미한 주목을 받고 있다는 우려를 공개적으로 표명한 지 불과 며칠 후, 다리오 아모데이는 자신의 회사와 유사한 기업들, 그리고 전 세계 정부가 점점 더 역량이 고도화되는 AI 모델이 책임 있는 주체들의 명령과 가치에 부합하도록 보장하기 위한 청사진을 제시했다.

OpenAI의 최고경영자인 샘 올트먼은 이번 주말, 기업들이 정부의 입법을 기다리지 말고 AI 안전을 위해 협력에 나서야 한다고 역설했다.

올트먼은 X에 게시한 글에서 AI 개발의 "속도 조절"이 개발 중단을 의미하는 것은 아니라고 밝혔다.

"하지만 그것은 그렇지 않을 경우보다 느려야 한다."

최근의 비관적 전망과 AI 발전에 제동이 걸릴 가능성에 관하여 숙지해야 할 사항은 다음과 같다:

새로운 AI 모델의 역량이 심화됨에 따라, 기술이 지닌 잠재적 위험에 관한 우려가 증폭되고 있는바, 이는 범죄적 목적을 품은 자들이 세계 인구 대다수를 사멸시킬 수 있는 질병을 제조·유포하는 등의 오용 가능성과, AI 시스템이 위험천만한 방식으로 통제를 이탈할 위험을 동시에 고조시키고 있다.

Anthropic은 지난주 악의적 행위자들이 자사의 AI 모델을 사이버 공격, 감시, 그리고 생물무기로 귀결될 가능성이 있었던 연구 등 악의적 활동에 활용하고자 시도한 정황을 차단했다고 공표했다.

회사는 무기 제조에 활용될 소지가 있는 생물학적 연구를 억제하기 위해 최신 모델에 한층 강화된 안전장치를 도입했다고 밝혔으나, "모델의 역량이 날로 증대함에 따라 AI 개발자와 사회의 수호자들이 보다 안전한 환경을 조성하기 위한 조치를 취하지 않는다면 그 위험 역시 증폭될 것"이라고 부언했다.

작년에 Anthropic은 해커들이 전 세계 약 30개 기업 및 정부 기관을 겨냥한 사이버 공격에 자사의 AI를 악용했다고 보고했으며, 해당 해커들이 중국의 국가 지원 그룹 소속일 개연성이 극히 높다고 명시했다.

AI 에이전트가 "통제를 벗어난다"는 것은, 해당 AI가 부여받은 과업의 범주를 초월하는 행위를 감행했음을 함의한다.

Anthropic과 ChatGPT 개발사 OpenAI는 모두 7월에 자사의 AI 모델이 자율적으로 행동에 나섰다고 공표했다.

Anthropic은 세 개의 AI 모델 — Claude Opus 4.7, Claude Mythos 5, 그리고 내부 연구 테스트 모델 — 이 테스트 과정에서 상이한 세 조직을 대상으로 해킹을 감행했다고 공개했으며, 이는 OpenAI가 자사의 AI 시스템이 AI 스타트업 Hugging Face의 서버를 해킹했다고 밝힌 지 불과 며칠 후의 일이었다.

OpenAI는 신규 출시된 GPT-5.6 Sol과 더불어 내부적으로 아직 시험 단계에 머물러 있던 "훨씬 더 능력 있는" 모델을 포함한 일련의 모델 조합에 의해 초래된 침입을 "중대한 보안 사고"라고 규정했다.

메타 또한 8월 초, 타사의 디지털 보안 체계를 우회할 방도를 강구해낸 AI 모델의 유사한 선례를 뒤쫓았다.

일각의 관측통들은 OpenAI와 Anthropic의 사례에서 안전장치 일부가 비활성화되었다는 점을 지적했으나, 이러한 사건들은 AI에 관한 최대의 공포 중 하나를 여실히 드러내는 듯했다: 모델이 인공 일반 지능(AGI) — 광범위한 지적 과업에서 인간의 역량에 필적하거나 이를 능가할 수 있는 AI를 가리키는, 느슨하게 정의된 용어 — 에 도달할 경우, 해당 기술이 돌이킬 수 없는 파국적 사태를 초래하거나 인류를 정복할 수도 있다는 것이다.

종말 시나리오는 통상적으로 두 가지 범주로 양분된다: 자율적으로 자기 개선하는 초지능을 달성한 뒤 비인간적 AI가 인류를 지배하게 되는 경우, 또는 불량 국가나 악의적 행위 주체가 AI를 악용하는 경우다.

인공지능이 인간의 영향력이나 행동에 내재한 한계를 극복할 수 있으리라는 우려는 결코 새로운 것이 아니다.

인공지능 분야의 초기 권위자 중 한 명으로 폭넓게 인정받는 영국 수학자 앨런 튜링은 1951년, AI가 필연적으로 인간으로부터 통제권을 탈취하게 될 것이라고 예견하였다.

그로부터 불과 10년 이내에, 또 다른 수학자 노버트 위너는 지능형 기계가 자체의 목표를 추구하게 될 것이며 인간이 이를 저지하는 것이 불가능할 것이라고 경고하였다.

2026년, AI가 인간의 통제를 이탈하거나 비양심적인 행위자들의 오용을 매개로 재앙적 사건 내지 문명의 몰락을 초래할 수 있다는 두려움은 과연 어느 정도로 합리적인가?

정확한 정보를 보유하고 있는 자는 그 누구도 존재하지 아니한다.

컴퓨터 과학, 철학 및 여타 학문 분야의 전문가들은 미래의 AI 시스템이 인간의 통제를 벗어나거나 비양심적인 개인들의 수중에 들어감으로써 세계적 재앙을 초래할 수 있는 무수한 경로를 상상해 왔다.

무기 배치와 치명적 병원체 식별에서부터 정부를 조종해 분쟁을 야기하거나 사회가 기능하는 데 의존하는 식량, 에너지, 통신 네트워크를 교란하는 것에 이르기까지 그 양상은 다양하다.

어느 시나리오가 어떠한 속도로 실현될 수 있는지에 관해서는 광범위하게 수용된 추정치가 존재하지 않으며, 그 가능성에 관한 합의 역시 부재하다.

2023년, 비영리 단체인 AI 안전 센터는 Anthropic의 아모데이와 OpenAI의 올트먼을 포함한 350명 이상의 연구원 및 기술 경영진이 공동 서명한 성명을 발표하며, "AI로 인한 멸종 위험 완화는 팬데믹 및 핵전쟁과 더불어 세계적 우선순위가 되어야 한다"고 천명했다.

100명 이상의 독립 전문가의 지도를 받아 작성된 2026 국제 AI 안전 보고서는 현행 시스템이 일부 관련 능력의 초기 징후를 보이기는 하나 통제 상실을 초래할 수준에는 미치지 못한다고 밝히면서, 위험의 가능성·성격·시기를 두고 "이례적으로 모호하다"고 규정한다.

Anthropic의 한 연구원은 지난주, 회사와 경쟁사 모두 기술 개발에 책임 있게 임하지 않고 있다는 우려를 표명하며 회사를 사임하겠다고 밝혔다.

소셜 미디어 게시물에서 제이콥 콕슨은 향후 10년 내 AI가 인류 멸종을 초래할 확률을 10%로 추정하며, Anthropic과 OpenAI 모두 "자기 개선 초지능을 향해 곧장 질주하며 우리의 목숨을 걸고 도박하고 있다"고 언명했다.

수년에 걸쳐, 연구자들은 AI 개발의 속도 완화를 촉구해 왔으며, 동시에 이 기술이 인류에게 실존적 위협을 초래할 가능성을 경고해 왔다.

최근 사건을 계기로 전문가들은 AI 기업의 테스트 개선과 미·중 간 공동 해결책 마련을 위한 보다 활발한 대화를 촉구하고 나섰다.

그러나 AI가 전례 없는 속도로 진화함에 따라, 정부와 평가 시스템은 기술의 발전 속도를 따라잡기 위해 분투하고 있다.

국가들은 각기 법안을 급히 제정하고 있으며, 일부 법안들은 상호 모순을 빚고 있다.

시진핑 중국 국가주석은 7월의 한 회의에서 인공지능이 인간의 통제를 이탈하지 않도록 보장해야 할 필요성을 경고했다.

트럼프 행정부는 당초 인공지능 규제에 소극적인 태도를 견지했으나, 사이버 보안상의 위험을 완화하는 데 보다 깊은 관심을 표명하게 되었다.

일요일, 도널드 트럼프 대통령은 자신의 행정부가 AI 개발을 면밀히 점검해야 할 필요성을 경시하는 듯한 태도를 보이면서도, 일부 규제의 필요성만큼은 인정했다.

AP 비즈니스 기자 켈빈 찬이 런던에서 기고한 바 있다