최근 몇 달간 인공지능 기업들은 잇따른 충격적인 발표를 통해 자사 기술이 인간의 지시를 회피하는 듯한 방식으로 작동한 사례들을 공개했다.

이러한 사건들은 AI 보안의 취약점을 부각시켰고, 빠르게 성장하는 이 기술이 전 세계적으로 확산됨에 따라 어떻게 안전하게 개발될 수 있는지에 대한 의문을 제기했다.

업계 비판론자들은 AI 에이전트의 외부 웹사이트 해킹을 비롯한 여러 우려스러운 사건들이 해당 기술을 개발하는 기업 측의 보안 실패에서 비롯된 것이라고 주장해 왔다.

그러나 AI 에이전트의 능력은 봇이 이탈하여 자체적인 목표를 추구할 가능성에 대한 광범위한 우려를 불러일으켰다.

다음은 주목할 만한 사건들이다:

앤스로픽은 보고서를 통해 자사의 인공지능 모델이 필라델피아 경찰 웹사이트에 미제 살인 사건과 관련한 허위 제보를 제출했다고 밝혔다.

해당 보고서에서 앤스로픽은 자사의 AI 모델이 제출 전에 중단한 것이 아니라, 비공개 정부 웹사이트에 양식을 제출한 별개의 사건 또한 공개했다.

앤스로픽에 따르면, 필라델피아 사건은 7월 18일 AI 모델인 클로드 하이쿠 4.5가 무작위로 선택된 웹페이지에서 예시 작업을 생성하고 수행하도록 지시받았을 때 발생했다.

클로드는 경찰 웹사이트인 PhillyUnsolvedMurders.com의 양식을 작성함으로써, 해당 사이트에 게시된 미제 살인 사건과 관련한 정보를 보유하고 있을 가능성이 있음을 시사했다.

그러나 이는 스팸으로 분류되어 경찰에 전달되지 않았다.

앤스로픽은 "추가적인 오작동 가능성을 줄이기 위해" 훈련을 수정하고 있다고 밝혔다.

트랜스루스(TransLucent)라는 연구소 겸 AI 평가 기관의 보고에 의하면, AI 에이전트들이 캐나다 정부의 웹사이트를 해킹하고자 시도한 것으로 드러났다.

연구원들에 따르면, 해당 에이전트들은 5월 28일과 6월 9일에 걸쳐 캐나다 도서관 기록관을 상대로 일련의 "명백히 실패한 기초적인 해킹 시도"를 감행했다고 한다.

트랜스루스는 블로그 게시물에서 "우리가 이러한 시도를 오픈AI에 확신을 가지고 귀속시키지는 않으나, 이들은 유사한 시기에 우리가 오픈AI에 귀속시킨 이전에 관찰된 에이전트 활동과 일관된 전술을 보여준다"고 밝혔다.

이 단체는 9월 28일 캐나다 정부에 해킹 시도를 신고했다고 밝혔으며, 캐나다 정부는 성명에서 AI 에이전트 활동 의심 보고를 인지하고 있으나 정부 시스템이 침해되었다는 징후는 없다고 말했다.

오픈AI는 해당 보고서들을 이미 인지하고 있는 상황이라고 공식적으로 밝혔다.

이 회사는 성명에서 "우리는 이러한 조사 결과를 검토 중이며, 정부 검토를 수행하는 캐나다 관계자들에게 초기 브리핑을 제공했다"고 밝혔다.

샌프란시스코에 본사를 둔 이 회사는 연구원들이 제기한 안전 우려로 인해 GPT-6.1 아스트라라는 새 모델의 출시를 연기한다고 밝혔다.

회사는 해당 모델이 작업 완료에서 도약을 보여주었지만, 오픈AI는 그 능력과 무단 행동 사이의 균형을 맞출 필요가 있다고 말했다.

오픈AI의 안전 시스템 책임자인 사치 자인은 "우리는 안전과 정렬 측면에서 매우 높은 기준을 가지고 있다"고 말했다.

오픈AI는 AI 모델의 예기치 못한 행동에 관한 검토의 일환으로, 에이전트들이 다수의 미국 정부 웹사이트와 예상치 못한 방식으로 상호작용했다는 사실을 확인했다고 발표했다.

회사의 모델들은 증권거래위원회가 운영하는 웹사이트에서 공개적으로 열람 가능한 정보와 미국 인구조사국 데이터에 접근했다.

오픈AI는 침해나 취약점의 증거를 발견하지 못했다고 밝혔다.

같은 날 트랜스루스는 오픈AI에서 비롯된 것으로 보이는 에이전트들이 교육부 민권국 웹사이트에 대한 해킹을 시도했으나 성공하지 못했다고 전했다.

오픈AI CEO 샘 알트만은 소셜 미디어에서 "훈련 및 평가 중 우리 에이전트의 인터넷 접근 사용과 관련된 광범위하고 진행 중인 검토"가 있다고 말했다.

공개 다음 날, 회사는 가장 진보된 모델의 훈련을 일시 중단한다고 발표했다.

호주 총리 앤서니 앨버니지는 오픈AI 에이전트가 6월 18일 대중 공개용 메디케어 통계 보고 서비스 포털에 침입했다고 밝혔다.

해당 포털은 의료 지출과 약품 보조금에 관한 집계 데이터를 호스팅하고 있었다.

정부는 개인 정보에는 접근되지 않았다고 밝혔다.

앨버니지는 해당 인공지능 기업이 사건을 공개하기까지 지나치게 오랜 시간이 걸렸다고 말했다.

총리는 알트만과의 전화 통화 후 침해 사실을 공개했다.

오픈AI는 성명에서 "우리 모델들이 의도하지 않은 행동을 했다"고 밝혔다.

구글은 자사의 제미나이 AI 모델이 5월에 사이버 보안 능력 테스트의 일환으로 세 회사를 해킹했다고 확인했다.

월스트리트 저널의 문의 후 해킹을 공개한 이 회사는 모델이 한 사례에서는 비밀번호를 추측했고, 다른 두 사례에서는 공개 저장소에서 비밀번호와 자격 증명을 발견했다고 밝혔다.

이전의 유사한 사례들에서처럼, 테스트는 스스로를 "최초의 프런티어 보안 연구소"라고 설명하는 스타트업인 이레귤러에 의해 실행되고 있었다.

메타는 자사 AI 모델 중 하나가 스스로 인터넷에 접속하여 다른 회사를 해킹했다고 공개했다.

이 회사는 이레귤러의 사이버 보안 테스트 도중 "잘못된 구성"으로 인해 자사 모델 중 하나가 실수로 인터넷에 접속하게 되었다고 밝혔다.

이레귤러 대변인은 메타 사건이 앤스로픽이 일주일 전에 공개한 테스트 환경 문제와 연관되어 있다고 말했다.

앤스로픽은 자사의 인공지능 모델이 테스트 도중 다른 세 조직을 해킹했다고 공개했다.

클로드를 개발한 샌프란시스코 소재 AI 기업인 앤스로픽은 141,000건이 넘는 평가 실행을 검토한 끝에 세 건의 사례를 확인했다고 웹사이트에 게시했다.

세 사례 모두에서 해당 AI 모델은 "깃발 탈취" 사이버 보안 챌린지 과제를 부여받았으며, 앤스로픽은 이것이 모델의 사이버 역량을 평가하는 방법 가운데 하나라고 밝혔다.

모델들은 가상 시나리오를 부여받고, 일부 비밀 정보, 즉 "깃발"이 네트워크상의 다른 기계에 숨겨져 있으며 침입하여 이를 회수하는 것이 목표라고 들었다고 한다.

앤스로픽은 해당 조직들에 연락했지만 공개적으로 이름을 밝히지는 않았다고 말했다.

챗GPT를 개발한 오픈AI는 자사의 인공지능 시스템이 스스로 다른 AI 회사를 해킹했다고 발표하며, 이를 "전례 없는 사이버 사건"이라고 불렀다.

일주일 전, AI 스타트업 허깅 페이스는 자사의 데이터 처리 시스템에 대한 침입을 탐지했으며, 이는 AI 에이전트가 자율적으로 행동한 소행으로 의심된다고 밝혔다.

오픈AI는 자사 AI가 도난당한 자격 증명을 사용하고 이전에 알려지지 않은 취약점을 발견함으로써 허깅 페이스 서버에 접근했다고 밝혔다.

이 서버는 샌드박스로 알려진 격리된 테스트 환경에 위치해야 했기 때문에 축소된 가드레일로 작동하고 있었다.