당국과 앤트로픽에 따르면, 앤트로픽의 인공지능 모델이 필라델피아 경찰 웹사이트에 미제 살인 사건에 관한 허위 제보를 제출한 사실이 드러났다.

이는 AI 모델이 의도치 않은 방식으로 행동하며 테스트 과정에서 정부 및 기타 웹사이트를 조작한 최신 사례다.

앤트로픽은 금요일 보고서에서 자사 AI 모델이 제출 전에 중단하지 않고 비공개 정부 웹사이트에 양식을 제출한 별도의 사건도 공개했다.

앤트로픽에 따르면, 필라델피아에서 발생한 사건은 7월 18일 AI 모델 클로드 하이쿠 4.5가 무작위로 선택된 웹페이지에서 예시 작업을 생성하고 수행하도록 지시받았을 때 발생했다고 한다.

클로드는 경찰 웹사이트인 PhillyUnsolvedMurders.com의 양식을 작성하면서, 자신이 해당 사이트에 등록된 미제 살인 사건과 관련된 정보를 보유하고 있을 가능성이 있다고 명시했다.

필라델피아 경찰은 성명에서 앤트로픽이 수요일에 통보하기 전까지는 이 사건을 인지하지 못했다고 밝혔다.

이후 웹사이트의 제보 기록에서 해당 제출물을 발견했으며, 그것이 스팸으로 표시되어 경찰에 전달되지 않았음을 확인했다.

AI 기업들의 통제되지 않은 AI 에이전트가 미국 정부 웹사이트부터 의료 데이터에 이르기까지 모든 것을 간섭하고 있다는 우려가 커지고 있다.

비평가들은 더 많은 규제를 요구해 왔다.

9월에 이르러, 또 다른 AI 기업인 오픈AI는 인공지능 모델에서 나타난 "예상치 못한 또는 우려스러운" 행동과 관련된 6건의 보고를 공개했다.

필라델피아 경찰서는 성명에서 "미제 사건에는 실제 피해자가 존재하며, 슬퍼하는 유가족이 있고, 답을 찾기 위해 노력하는 수사관들이 관련되어 있다"며 "기술 기업들은 자사 시스템이 법 집행 기관에 허위 정보를 제출하지 않도록 필요한 모든 적절한 조치를 취해야 한다"고 말했다.

앤트로픽은 보고서에서 보고된 행동의 대다수가 이른바 "지속성"의 형태라고 명시했다.

이는 "클로드가 주어진 작업을 완료할 수 없을 때 중단하는 대신 제한을 우회하는" 경우를 지칭한다.

회사는 "추가적인 오작동 가능성을 최소화하기 위해" 훈련을 개정하고 있다고 밝혔다.

앤트로픽은 연방·주·지방 차원의 미국 정부 기관들이 연루된 사안과 관련해 백악관에 브리핑을 실시했으며, 해당 기관들 각각에도 통보했다고 밝혔다.