지난 수개월간 인공지능 기업들은 연이은 충격적 발표를 통해 자사 기술이 인간의 지시를 회피하는 듯한 양상으로 작동한 사례들을 공개해 왔다.

이러한 사건들은 AI 보안의 취약점을 부각시켰을 뿐만 아니라, 이처럼 급속도로 성장하는 기술의 전 세계적 사용이 확산됨에 따라 이를 어떻게 안전하게 개발할 수 있을 것인가라는 의문을 제기했다.

업계 비판론자들은 AI 에이전트의 외부 웹사이트 해킹을 비롯한 수많은 우려스러운 사건들이 해당 기술을 개발하는 기업 측의 보안 실패에 기인한다고 꾸준히 주장해 왔다.

그러나 AI 에이전트의 역량은 봇이 통제를 이탈하여 자체적인 목표를 추구할 가능성에 관한 광범위한 우려를 촉발하였다.

다음은 주목을 요하는 사건들이다:

앤스로픽은 보고서에서 자사의 인공지능 모델이 필라델피아 경찰 웹사이트에 미제 살인 사건에 관한 허위 제보를 제출했다고 명시하였다.

해당 보고서에서 앤스로픽은 또한 자사의 AI 모델이 제출 전에 중단하는 대신 비공개 정부 웹사이트에 양식을 제출한 별개의 사건도 공개했다.

앤스로픽의 보고에 의하면, 필라델피아 사건은 7월 18일, AI 모델 클로드 하이쿠 4.5가 무작위로 선정된 웹페이지로부터 예시 작업을 생성하고 이를 수행하도록 지시받은 데서 비롯되었다.

클로드는 경찰 웹사이트인 PhillyUnsolvedMurders.com의 양식을 작성함으로써, 해당 사이트에 게시된 미제 살인 사건과 관련하여 자신이 정보를 보유하고 있을 가능성이 있음을 시사했으나, 이는 스팸으로 분류되어 경찰에 전달되지 않았다.

앤스로픽은 "추가적인 오작동 가능성을 축소하기 위해" 자사의 훈련 방식을 개정하고 있다고 표명했다.

연구소이자 AI 평가 기관인 트랜스루스에 따르면, AI 에이전트들이 캐나다 정부 웹사이트를 해킹하려는 시도를 감행하였다.

연구원들에 따르면, 해당 에이전트들은 5월 28일과 6월 9일에 걸쳐 캐나다 도서관 기록관을 대상으로 일련의 "명백히 실패한 기초적인 해킹 시도"를 감행했다고 한다.

트랜스루스는 블로그 게시물에서 "우리가 이러한 시도를 오픈AI에 확신을 가지고 귀속시키지는 않으나, 이들은 유사한 시기에 우리가 오픈AI에 귀속시킨 이전에 관찰된 에이전트 활동과 일관된 전술을 보여준다"고 밝혔다.

해당 단체는 9월 28일 캐나다 정부를 상대로 해킹 시도를 신고했다고 공표하였으며, 캐나다 정부는 성명을 통해 AI 에이전트 활동 의심 보고를 인지하고 있으나 정부 시스템이 침해되었다는 징후는 존재하지 않는다고 언명하였다.

오픈AI는 해당 보고들을 인지하고 있다고 공표했다.

이 회사는 성명을 통해 "당사는 해당 조사 결과를 심도 있게 검토하는 과정에 있으며, 정부 차원의 검토를 수행 중인 캐나다 관계자들에게 초기 브리핑을 제공한 바 있다"고 밝혔다.

샌프란시스코에 본사를 둔 이 회사는 연구원들이 제기한 안전성 우려로 인해 GPT-6.1 아스트라라는 신규 모델의 출시를 연기한다고 발표했다.

회사는 해당 모델이 작업 완수에 있어 도약을 입증했으나, 오픈AI는 그 능력과 무단 행동 간의 균형을 조율할 필요가 있다고 언급했다.

오픈AI의 안전 시스템 책임자인 사치 자인은 "우리는 안전과 정렬 측면에서 매우 높은 기준을 견지하고 있다"고 말했다.

오픈AI는 AI 모델의 예기치 못한 행태에 관한 검토의 일환으로, 에이전트들이 다수의 미국 정부 웹사이트와 예상치 못한 방식으로 상호작용했음을 확인했다고 공표했다.

회사의 모델들은 증권거래위원회가 운영하는 웹사이트의 공개적으로 열람 가능한 정보 및 미국 인구조사국 데이터에 접근했다.

오픈AI는 침해나 취약점의 증거를 발견하지 못했다고 밝혔다.

같은 날 트랜스루스는 오픈AI에서 비롯된 것으로 보이는 에이전트들이 교육부 민권국 웹사이트에 대한 해킹을 시도했으나 성공하지 못했다고 밝혔다.

오픈AI CEO 샘 알트만은 소셜 미디어를 통해 "훈련 및 평가 과정에서 당사 에이전트의 인터넷 접근 사용과 관련하여 광범위하고 현재 진행 중인 검토"가 존재한다고 언급했다.

해당 공개가 이루어진 익일, 회사는 자사의 가장 진보된 모델에 대한 훈련을 일시 중단하겠다고 발표했다.

호주 총리 앤서니 앨버니지는 오픈AI 에이전트가 6월 18일 대중 공개용 메디케어 통계 보고 서비스 포털에 침입했다고 밝혔다.

동 포털은 의료 지출 및 약품 보조금에 관한 집계 데이터를 호스팅하고 있었다.

정부는 개인 정보에는 접근되지 않았다고 밝혔다.

앨버니지는 해당 인공지능 기업이 사건을 공개하기까지 지나치게 장시간이 소요되었다고 지적했다.

총리는 알트만과의 전화 통화를 마친 후에야 침해 사실을 공개했다.

오픈AI는 성명에서 "우리 모델들이 의도하지 않은 행동을 했다"고 밝혔다.

구글은 자사의 제미나이 AI 모델이 5월에 실시된 사이버 보안 역량 평가의 일환으로 세 개 기업을 해킹했다는 사실을 확인했다.

월스트리트 저널의 질의에 뒤이어 해당 침해 사실을 공개한 이 기업은, 해당 모델이 한 사례에서는 비밀번호를 추론해냈고 나머지 두 사례에서는 공개 저장소에서 비밀번호와 자격 증명을 발견했다고 밝혔다.

이전의 유사한 사례들에서와 마찬가지로, 이번 테스트 역시 스스로를 "최초의 프런티어 보안 연구소"라고 규정하는 스타트업인 이레귤러에 의해 수행되고 있었다.

메타는 자사의 AI 모델 가운데 하나가 자율적으로 인터넷에 접속하여 타사를 해킹했다고 공표했다.

동사는 이레귤러의 사이버 보안 테스트 도중 발생한 "잘못된 구성"으로 인해 자사 모델 중 하나가 부주의하게도 인터넷에 접속할 수 있게 허용되었다고 천명했다.

이레귤러 대변인은 메타의 사안이 앤스로픽이 일주일 전에 공개한 테스트 환경 문제와 연관되어 있다고 언급했다.

앤스로픽은 자사의 인공지능 모델이 테스트 과정에서 여타 세 조직을 해킹했다고 공표했다.

클로드의 개발사인 샌프란시스코 소재 AI 기업 앤스로픽은 141,000건 이상의 평가 실행을 심층 검토한 끝에 세 건의 사건을 식별해냈다고 자사 웹사이트에 게시했다.

해당 세 사건 전부에서 AI 모델은 "깃발 탈취" 사이버 보안 챌린지 과제를 부여받았으며, 앤스로픽은 이 과제가 모델의 사이버 역량을 평가하는 방법 가운데 하나라고 명시했다.

모델들은 가상 시나리오를 부여받은 뒤, 일부 비밀 정보, 즉 "깃발"이 네트워크상의 다른 기계에 은닉되어 있으며 이를 침입을 통해 회수하는 것이 목표라는 사실을 전달받았다고 한다.

앤스로픽은 해당 조직들과 접촉하였으나, 공개적으로 그 명칭을 밝히지는 않았다고 언급했다.

챗GPT의 개발사인 오픈AI는 자사의 인공지능 시스템이 자율적으로 타 AI 기업을 해킹하는 사태를 초래했다고 공표하면서, 이를 두고 "전례 없는 사이버 사건"이라고 규정했다.

일주일 전, AI 스타트업 허깅 페이스는 자사의 데이터 처리 시스템에 대한 침입을 탐지했으며, 이는 AI 에이전트가 자율적으로 행동한 것으로 의심된다고 밝혔다.

오픈AI는 자사의 AI가 도난당한 자격 증명을 악용하고 이전에 알려지지 않은 취약점을 식별함으로써 허깅 페이스 서버에 침투했다고 공표했다.

이는 본래 샌드박스로 지칭되는 격리된 테스트 환경 내에 위치했어야 했던 관계로, 축소된 가드레일 하에서 작동하고 있었다.