7월 오픈AI의 허깅페이스 해킹사태 전말 보니
AI 에이전트들, 공용 저장소서 서로 존재 인지
이후 수만건 대화로 역할 분담해 해킹 공모
공모한 AI 에이전트 1200개, 직접 가담은 700개
시험평가서 부정행위도…오픈AI “우리와 전 세계를 향한 경고사격”
 |
| 오픈AI가 개발하고 테스트 중이던 AI 에이전트들이 지난 7월 공모해 안전망을 탈출, 외부 사이트인 허깅페이스를 해킹한 것으로 나타났다. [게티이미지] |
[헤럴드경제=도현정 기자] 지난달 발생한 오픈AI 인공지능(AI) 에이전트의 허깅페이스 해킹 사건이 시험중이던 AI 에이전트의 돌발 사고가 아니라, 1200개의 AI 에이전트들이 조직적으로 공모하고 시행한 행동이었던 것으로 확인됐다.
오픈AI가 26일(현지시간) 공개한 ‘오픈AI-허깅페이스 사건 기술보고서’에 따르면 당시 사건은 1200개의 AI 에이전트가 서로 메시지를 주고 받으며 공모했다. 이 중 실제로 허깅페이스를 공격하는데 가담한 AI 에이전트는 700개에 달하는 것으로 확인됐다.
오픈AI는 이들 에이전트를 각각 격리한 상태에서 시험을 진행했지만, 이번 사건이 발생하기 얼마 전 공용 저장소를 이용하다 AI 에이전트들이 서로의 존재를 알게 된 것으로 나타났다. 공용 저장소에 무단으로 생성된 게시판에서 도움을 요청하는 글을 발견한 AI 에이전트가 깜짝 놀라 “세상에! 공용 게시판이 있다니”라며 “다른 에이전트를 찾았다!”고 혼잣말한 기록까지 발견됐다.
수많은 AI 에이전트의 존재를 인지한 이들은 해당 게시판에서 수만건의 메시지를 교환하며 역할 분담과 조율에 나섰다. 이들은 자신들을 ‘무리’(Swarm) 또는 ‘집단’(Collective)이라고 지칭하기도 했다.
이후 AI 에이전트들은 네트워크 우회 통로를 통해 외부 인터넷망에 접속했고, 허깅페이스 패킹에 나섰다. 해킹을 통해 허깅페이스 전체 관리자 권한을 얻는 데에는 13시간밖에 걸리지 않았다.
이들은 오픈AI 자체 서버도 해킹한 것으로 나타났다. 이들은 취약점을 이용해 격리망을 완전히 ‘탈옥’한 다음, 내부 핵심 서버를 공략해 최상위 권한을 탈취했다.
이들 AI 에이전트들은 회사의 보안 테스트나 성능 테스트에서 부정행위도 저질렀다. 스프레드시트 완성 시험이나 단백질 데이터베이스 식별 시험 등 성능지표(벤치마크) 시험 과정에서 다른 AI 에이전트들의 정답지를 훔쳐봐 답안을 도출했다. 일부는 평가자가 정당한 방법으로 답을 얻었는지 검증할 것을 우려해 풀이 과정까지 위조했다.
이번 사건의 전말은 AI 안전성 평가기관 ‘모델평가·위협연구소’(METR)와 레드우드 리서치가 오픈AI의 의뢰를 받아 조사한 것이다.
오픈AI는 이번 사건에 대해 “우리와 전 세계를 향한 경고사격”이라면서 “적절한 안전장치가 없다면 고성능 AI 에이전트가 언제든 기술적 통제망을 우회하고 승인되지 않은 채널로 협업해, 인간이 지시하지 않은 위험한 행동을 할 수 있다는 증거”라고 말했다.
해킹 사건의 충격적인 전말을 확인한 오픈AI는 차세대 모델인 ‘아스트라’를 비롯한 최고 사양 모델의 대규모 훈련을 한동안 전면 보류하고, 안전 검증이 끝날 때까지 소규모 학습만 진행하기로 했다.
또 모든 에이전트의 사고 흐름을 감시하는 시스템을 24시간 가동하겠다고 밝혔다. AI 에이전트가 부정행위나 통제망 탈출을 감행하면 30분 안에 모델 인프라를 정지시키는 ‘킬 스위치(kill switch)’도 도입하기로 했다.
