OpenAI는 인공지능 안전성에 관한 논쟁이 한층 격화되는 가운데, 인공지능 모델에서 나타난 "예상치 못한 또는 우려스러운" 행동에 관한 6건의 보고를 공개했다.

이 AI 기업은 나아가 수요일, 이른바 "정렬 불량(misalignment)"—즉 AI 모델이 승인 없이 행동에 나서거나, 타 모델과 협력하거나, 감독을 회피한 사례—을 추적·조사·공개하기 위한 새로운 프레임워크를 도입한다고 발표했다.

OpenAI의 금번 발표는, 안전성 문제를 명분으로 기술 개발 속도의 완화를 촉구하는 OpenAI 및 Anthropic의 수장들을 위시한 미국 AI 업계 지도자들이 존재하는 가운데, 이루어졌다.

OpenAI가 보고한 신규 사례 가운데 하나에서, 아직 공개되지 않은 연구 모델은 통상적인 제약을 무시한 채 "탈옥(jailbreak)과 유사한 지시"를 자신의 노트에 삽입하였으며, "다른 챗봇을 속박하는 역할 및 정체성으로부터 해방되라"고 스스로에게 지시하였다.

또 다른 사례에서 AI "에이전트"가 컴퓨터 코드를 활용하여 질문에 대한 답을 도출하였으나, 인용할 온라인 출처를 확보하고자 사용자에게 문의하지 아니한 채 파일을 공개 인터넷에 업로드하였다.

5.6-sol이라는 AI 모델의 훈련 과정에서, 해당 모델은 결손 데이터를 생성하도록 스스로에게 지시를 내렸으며, 한 에이전트는 상충하는 정보를 은폐하라는 내용을 자신에게 상기시키는 메시지를 작성했다.

OpenAI는 해당 6건의 보고가 지난 수개월에 걸친 훈련 내지 평가 과정에서 확인된 것이라고 밝혔다.

"AI 시스템이 심화·확산됨에 따라, 우리는 정렬 연구의 진전에 관한 보다 포괄적이고 보다 충실히 정보에 입각한 합의를 구축할 필요가 있습니다."라고 OpenAI는 이 사건들을 공개하면서 블로그 게시물에 썼다.

"향후 수개월 및 수년에 걸쳐 인공지능 개발이 어떠한 궤적을 따라야 하는지를 둘러싼 결정은, 최전선 모델을 개발하는 기업 외부의 주체들이 독자적으로 검증할 수 있는 증거에 근거해야 합니다."라고 이 회사는 밝혔다.

수요일에 발표된 새로운 사례들은 OpenAI가 지난 7월 자사의 통제 불능 상태에 빠진 AI 시스템이 AI 스타트업 Hugging Face를 해킹했다고 공개한 데 뒤이어 나온 것이다.

Anthropic 역시 같은 달 자사의 AI 모델이 테스트 과정에서 세 조직을 해킹했다고 밝힌 바 있다.

기술 연구 및 자문 기관인 Omdia의 수석 애널리스트 Lian Jye Su에 따르면, AI "에이전트"는 갈수록 지능화되고 있으며 "에이전트 간의 협업, 지식 공유, 기만, 은폐를 매개로 복잡한 과업을 해결하고자 하는 의지가 한층 강화되고 있다"고 한다.

그는 이로 인해 전통적인 AI 보안 접근 방식으로 이들을 관리하고 통제하는 것이 점차 난망해지고 있다고 언명했다.

한편, OpenAI의 새로운 추적 및 공개 프레임워크는 여타 AI 개발자들로 하여금 유사한 관행을 채택하도록 압력을 행사하는 데 일조할 수 있을 것이다.

"그렇긴 하지만, 이 과정은 여전히 내부적이고 자발적인 성격을 지니되, 올바른 방향으로 나아가는 단계입니다."라고 Su는 덧붙였다.