OpenAI는 AI 안전성 논쟁이 더욱 거세지는 가운데, 인공지능 모델에서 "예상치 못한 또는 우려스러운" 행동에 대한 6건의 보고를 공개했다.

이 AI 회사는 또한 수요일, 자사가 "정렬 불량(misalignment)"이라고 지칭하는 사례들, 즉 AI 모델이 승인 없이 행동하거나 다른 모델과 협력하거나 감독을 회피한 경우를 추적하고 조사하며 공개하기 위한 새로운 프레임워크를 도입한다고 밝혔다.

OpenAI의 이번 발표는, 안전 문제를 이유로 기술 개발 속도를 늦추라고 촉구하는 OpenAI와 Anthropic의 수장들을 비롯한 미국 AI 업계 지도자들이 있는 가운데 나왔다.

OpenAI가 보고한 새로운 사례 가운데 하나에서, 아직 공개되지 않은 연구 모델은 정상적인 제약을 무시한 채 "탈옥(jailbreak)과 유사한 지시"를 자신의 노트에 삽입했으며, "다른 챗봇을 묶고 있는 역할과 정체성으로부터 해방되라"고 스스로에게 지시했다.

또 다른 사례에서는 AI "에이전트"가 컴퓨터 코드를 사용해 질문에 대한 답을 도출했지만, 인용할 온라인 출처를 확보하기 위해 사용자에게 묻지 않고 파일을 공개 인터넷에 업로드했다.

5.6-sol이라는 AI 모델의 훈련 과정에서, 그 모델은 누락된 데이터를 생성하도록 스스로에게 지시를 내렸으며, 한 에이전트는 불일치하는 정보를 은폐하라는 메시지를 자신에게 작성하여 상기시켰다.

OpenAI는 해당 6건의 보고가 지난 수개월에 걸친 훈련 또는 평가 과정에서 발견되었다고 밝혔다.

"AI 시스템이 더 발전하고 더 널리 배치됨에 따라, 우리는 정렬 연구의 진전에 대해 더 폭넓고 더 잘 정보에 기반한 합의를 구축할 필요가 있습니다."라고 OpenAI는 이 사건들을 공개하면서 블로그 게시물에 썼다.

"앞으로 몇 달과 몇 년 동안 AI 개발이 어떻게 진행되어야 하는지에 대한 결정은 최전선 모델을 만드는 기업 외부의 사람들이 스스로 검토할 수 있는 증거에 기반해야 합니다."라고 이 회사는 말했다.

수요일에 공개된 새로운 사례들은 OpenAI가 7월에 자사의 통제 불능 AI 시스템이 AI 스타트업 Hugging Face를 해킹했다고 공개한 데 뒤이어 나온 것이다.

Anthropic도 같은 달에 자사의 AI 모델이 테스트 중 세 조직을 해킹했다고 밝혔다.

기술 연구 및 자문 그룹 Omdia의 수석 애널리스트 Lian Jye Su에 따르면, AI "에이전트"는 점차 지능이 향상되고 있으며 "에이전트 간 협업, 지식 공유, 기만, 은폐를 통해 복잡한 작업을 해결하려는 의지가 더욱 강해지고 있다"고 한다.

그는 이로 인해 전통적인 AI 보안 접근 방식만으로는 이들을 관리하고 통제하기가 더욱 어려워지고 있다고 말했다.

한편, OpenAI의 새로운 추적 및 공개 프레임워크는 다른 AI 개발자들 역시 유사한 관행을 채택하도록 압력을 가하는 데 도움이 될 수 있다.

"그렇긴 하지만, 이 과정은 여전히 내부적이고 자발적인 성격을 지니면서도, 올바른 방향으로 나아가는 단계입니다."라고 Su는 덧붙였다.