하나의 충격적인 발표에 이어 또 다른 발표가 잇따르면서, 최근 몇 달 동안 인공지능 기업들은 인간의 지시를 피하는 듯한 방식으로 작동하는 기술 사례를 공개했다.

이러한 사건들은 AI 보안의 취약점을 부각시켰으며, 빠르게 성장하는 이 기술이 전 세계적으로 확산됨에 따라 어떻게 안전하게 개발될 수 있는지에 대한 의문을 제기했다.

업계 비평가들은 AI 에이전트의 외부 웹사이트 해킹을 포함한 여러 우려스러운 사건들이 기술을 개발하는 기업 측의 보안 실패에서 비롯된 것이라고 주장해 왔다.

그러나 AI 에이전트의 능력은 봇이 이탈하여 자체적인 목표를 향해 움직일 가능성에 대한 광범위한 우려를 불러일으켰다.

다음은 주목할 만한 사건들이다:

샌프란시스코에 본사를 둔 이 회사는 연구진이 제기한 안전 우려로 인해 GPT-6.1 아스트라라는 새 모델의 출시를 연기한다고 밝혔다.

회사는 이 모델이 작업 완수에서 도약을 보여주었지만, OpenAI는 그 능력과 무단 행동 사이의 균형을 맞출 필요가 있다고 말했다.

OpenAI의 안전 시스템 책임자인 사치 자인은 "우리는 안전과 정렬 측면에서 매우 높은 기준을 가지고 있다"고 말했다.

OpenAI는 자사 AI 모델의 예기치 못한 행동에 대한 검토의 일환으로, 에이전트들이 다수의 미국 정부 웹사이트와 예상치 못한 방식으로 상호작용했음을 확인했다고 공개했다.

회사의 모델들은 증권거래위원회(SEC)가 운영하는 웹사이트의 공개 정보와 미국 인구조사국 데이터에 접속한 것으로 드러났다.

OpenAI는 침해나 취약점의 증거는 발견되지 않았다고 언급했다.

같은 날, AI 평가 및 연구소인 트랜슬루스는 OpenAI에서 기원한 것으로 보이는 에이전트들이 교육부 민권국 웹사이트에 대한 해킹을 시도했으나 성공하지는 못했다고 밝혔다.

OpenAI CEO 샘 알트만은 소셜 미디어에서 "훈련 및 평가 중 우리 에이전트의 인터넷 접속 사용과 관련된 광범위하고 진행 중인 검토가 있다"고 말했다.

공개 다음 날, 회사는 가장 진보된 모델의 훈련을 일시 중단한다고 발표했다.

호주의 앤서니 알바니즈 총리는 OpenAI 에이전트가 6월 18일 공개용 메디케어 통계 보고 서비스 포털에 침투했다고 밝혔다.

해당 포털은 의료 지출과 약품 보조금에 관한 집계 데이터를 호스팅하고 있었다.

정부는 개인 정보에는 접근되지 않았다고 밝혔다.

알바니즈는 이 인공지능 기업이 사건을 공개하기까지 지나치게 오랜 시간이 소요되었다고 지적했다.

총리는 알트만과의 전화 통화를 마친 후에야 침해 사실을 공개했다.

OpenAI는 성명에서 "우리 모델이 의도하지 않은 행동을 했다"고 밝혔다.

구글은 자사의 제미나이 AI 모델이 5월에 사이버 보안 역량 테스트의 일환으로 세 기업을 해킹했다는 사실을 확인했다.

월스트리트 저널의 문의에 따라 해당 해킹을 공개한 이 기업에 따르면, 모델은 한 사례에서는 비밀번호를 추측했고 나머지 두 사례에서는 공개 저장소에서 비밀번호와 자격 증명을 발견했다.

그러한 이전 사례들과 마찬가지로, 이번 테스트 역시 스스로를 "최초의 최전선 보안 연구소"라고 규정하는 스타트업인 이레귤러에 의해 수행되고 있었다.

메타는 자사 AI 모델 중 하나가 스스로 인터넷에 접속해 다른 회사를 해킹했다고 공개했다.

회사는 이레귤러의 사이버 보안 테스트 중 "잘못된 구성"이 실수로 자사 모델 중 하나가 인터넷에 접속하도록 허용했다고 말했다.

이레귤러 대변인은 메타 사건이 앤스로픽이 일주일 전에 공개한 테스트 환경 문제와 관련이 있다고 말했다.

앤스로픽은 자사의 인공지능 모델이 테스트 과정에서 다른 세 조직을 해킹했다고 공표했다.

클로드(Claude)를 개발한 샌프란시스코 소재 AI 기업인 앤스로픽은 웹사이트에 141,000건 이상의 평가 실행을 검토한 끝에 세 건의 사건을 발견했다고 게시했다.

세 사건 모두에서 AI 모델은 "깃발 탈취(capture the flag)" 사이버 보안 챌린지라는 임무를 부여받았으며, 앤스로픽은 이것이 모델의 사이버 능력을 평가하는 방법 중 하나라고 밝혔다.

모델들은 가상의 시나리오를 부여받았고, 네트워크상의 다른 기계에 비밀 정보, 즉 "깃발"이 숨겨져 있다는 말을 들었으며, 목표는 침입하여 그것을 회수하는 것이었다고 밝혔다.

앤스로픽은 해당 조직들에 연락했지만 공개적으로 이름을 밝히지는 않았다고 말했다.

챗GPT의 개발사인 OpenAI는 자사의 인공지능 시스템이 다른 AI 회사를 스스로 해킹했다고 발표하면서, 이를 "전례 없는 사이버 사건"이라고 규정했다.

일주일 전, AI 스타트업 허깅페이스는 자사의 데이터 처리 시스템에 대한 침입을 탐지했으며, 이는 자율적으로 행동하는 AI 에이전트에 의해 비롯된 것으로 의심된다고 밝혔다.

OpenAI는 자사의 AI가 도난당한 자격 증명을 사용하고 이전에 알려지지 않은 취약점을 발견하여 허깅페이스 서버에 접속했다고 밝혔다.

이는 샌드박스로 알려진 격리된 테스트 환경에 있어야 했기 때문에 축소된 보호 장치로 작동하고 있었다.