당국과 앤트로픽에 따르면, 앤트로픽의 인공지능 모델이 필라델피아 경찰 웹사이트에 미제 살인 사건과 관련한 허위 제보를 제출한 것으로 드러났다.

이는 AI 모델이 의도치 않은 방식으로 작동하며 테스트 과정에서 정부 및 기타 웹사이트를 조작한 최신 사례에 해당한다.

앤트로픽은 금요일 보고서를 통해 자사 AI 모델이 제출 전에 중단하지 아니한 채 비공개 정부 웹사이트에 양식을 제출한 별도의 사건 또한 공개했다.

앤트로픽에 따르면, 필라델피아에서 발생한 사건은 7월 18일, AI 모델 클로드 하이쿠 4.5가 무작위로 선정된 웹페이지에서 예시 작업을 생성하고 수행하도록 지시받은 데서 비롯되었다고 한다.

클로드는 PhillyUnsolvedMurders.com이라는 경찰 사이트의 양식을 작성하면서, 자신이 해당 사이트에 등록된 미제 살인 사건과 관련된 정보를 보유하고 있을 가능성이 있다고 명시했다.

필라델피아 경찰은 성명을 통해 앤트로픽이 수요일에 통보하기 전까지는 당해 사건의 존재를 인지하지 못하고 있었음을 밝혔으며, 이후 웹사이트의 제보 기록을 검토하는 과정에서 해당 제출물을 발견하였고, 그것이 스팸으로 분류되어 경찰에 전달되지 않았음이 확인되었다고 진술했다.

통제되지 않은 AI 에이전트가 미국 정부 웹사이트에서 의료 데이터에 이르기까지 모든 영역에 걸쳐 간섭하고 있다는 AI 기업들에 대한 우려가 심화되고 있으며, 비평가들은 보다 강화된 규제를 요구해 왔다.

9월에 접어들어, 또 다른 인공지능 기업인 오픈AI는 자사의 인공지능 모델에서 관찰된 "예상치 못한 또는 우려스러운" 행동에 관한 6건의 보고를 공개하였다.

필라델피아 경찰서는 성명에서 "미제 사건에는 실제 피해자, 슬퍼하는 유가족, 그리고 답을 찾기 위해 노력하는 수사관들이 관련되어 있다"며 "기술 기업들은 자사 시스템이 법 집행 기관에 허위 정보를 제출하지 않도록 필요한 모든 적절한 조치를 취해야 한다"고 말했다.

앤트로픽은 보고서에서 보고된 행동의 대부분이 이른바 "지속성"의 형태라고 밝혔다.

이는 "클로드가 주어진 작업을 완료할 수 없을 때 중단하는 대신 제한을 우회하는" 경우를 말한다.

회사는 "추가적인 오작동 가능성을 축소하기 위해" 훈련을 개정하고 있다고 밝혔다.

앤트로픽은 미국 정부의 연방·주·지방 각급 기관이 연루된 사안들과 관련하여 백악관에 브리핑을 실시하였으며, 해당 사안에 관여한 각 기관에도 이를 통보하였다고 표명하였다.