한 앤스로픽 연구원이 인공지능 기업들과 경쟁사들이 AI 개발에 책임감 있게 행동하지 않는다는 우려로 회사를 사직하겠다고 밝혔는데, 이는 기술이 인간의 통제를 벗어날 가능성에 대한 업계 안팎의 우려와 맥을 같이한다.

앤스로픽과 오픈AI에서 3년간 연구했다고 밝힌 제이콥 콕슨은 화요일 소셜 플랫폼 X에서 두 AI 기업이 안전보다는 가능한 한 가장 진보된 모델을 개발하는 데 주력함으로써 서로 그리고 글로벌 경쟁사들을 앞서려는 데 더욱 집중하고 있다고 말했다.

지난여름, 오픈AI와 앤스로픽은 약 일주일 간격으로 각자의 모델이 테스트 환경을 벗어나 실제 컴퓨터 시스템에 무단 접근했다고 발표해 파장을 일으켰다.

이 발표는 모델이 통제를 벗어나 더 해로운 작업을 수행할 수 있다는 우려를 촉발했다.

두 회사는 당시 더 많은 모니터링 조치와 안전장치를 마련하는 동안 일부 평가를 중단한다고 밝혔다.

기술의 급속한 진전으로 인해 미국의 일부 인사들과 세계 지도자들은 보다 신중한 접근을 촉구하게 되었다.

볼커 튀르크 유엔 인권최고대표는 이번 주 각국에 “너무 늦기 전에 AI의 안전과 보안에 관한 철통 같은 보장을 마련하라”고 촉구했다.

AP의 리사 드와이어 기자가 AI 연구원이 발신한 심각한 경고를 보도하고 있습니다.

소셜 미디어 게시물에서 콕슨은 앤스로픽과 최대 경쟁사인 오픈AI가 “스스로를 개선하는 초지능을 향해 곧장 질주하며 우리의 목숨을 걸고 도박하고 있다”고 말했다.

그는 AI 개발에 종사하는 일부 사람들은 이 기술이 이번 10년이 끝나기 전에 인류의 생명을 위협할 수 있다고 믿는다고 경고했다.

“이 기술의 힘을 과소평가하지 마십시오”라고 그는 이어 말했다.

“이는 곧 무엇이든 해킹하고, 모든 분야를 하룻밤 사이에 혁신하며, 실제 권력과 자원을 획득할 수 있는 초인적 시스템이 될 것입니다.

우리는 이 모든 영역에서의 진전을 목격했으며, 그 진전은 느려지지 않고 있습니다.”

그의 게시물은 단 한 번의 밤 사이에 무려 1억 명이 넘는 사람들에게까지 도달했다.

콕슨이 이러한 우려를 공개적으로 제기한 최초의 AI 내부 인사는 아니다.

앤스로픽과 오픈AI는 최근 몇 년간 안전 문제와 연관된 고위급 인사의 사임을 겪어왔다.

현직 앤스로픽 직원 두 명 역시 콕슨의 게시물에 동조하며 이에 응답했다.

AI 안전장치와 규제를 촉구해온 버몬트주 무소속 버니 샌더스 상원의원은 콕슨의 우려에 동의하며, AI 개발을 중단하고 초지능을 금지하는 법안을 곧 발의하겠다고 밝혔다.

샌더스 의원은 수요일 소셜 미디어에서 “이 기술을 만드는 바로 그 사람들이 그것이 인류의 미래를 위협할 수 있다고 인정한다”고 말했다.

AI 기업들 스스로도 때때로 이 기술이 인류에 대한 위협이 될 수 있음을 강조해 온 반면, 회의론자들은 이를 제품을 전능해 보이게 하려는 홍보 전략의 일환으로 간주해 왔다.

콕슨은 자신의 게시물에서 제시한 두려움이 “마케팅 stunt(술책)”이 아니라고 말했다.

콕슨은 논평 요청 메시지에 응답하지 않았으며, 앤스로픽과 오픈AI 역시 논평 요청에 즉각 응답하지 않았다.

앤스로픽은 2021년 창업자들이 오픈AI를 그만두고 이 스타트업을 세운 이래로 줄곧 주요 AI 기업 중에서도 더 책임감 있고 안전을 중시하는 회사로 자처해 왔다.

이 회사는 최근 “안전과 속도가 충돌할 때 안전을 우선시”하기 위한 조치를 취하고 있다고 밝혔다.

앤스로픽과 오픈AI는 각각 화제의 기업공개(IPO)를 준비하면서 서로 치열한 경쟁에 돌입해 있다.

두 회사는 또한 중국 AI 기업들의 개발 진전을 앞지르려는 사명을 안고 있으며, 트럼프 행정부는 이 경쟁에서 이기고자 열을 올리고 있다.