챗GPT 외부기관 해킹후 클로드·메타 줄줄이 사고
중국 문샷AI의 ‘키미’도 통제환경 탈출
AI모델 발전 수준만큼 시험 환경 못 따라가
“기업 넘어 제3자 검증·정부차원 테스트 필요”
 |
| (왼쪽부터) 오픈AI와 앤트로픽, 메타. [챗GPT] |
[헤럴드경제=김영철 기자] 챗GPT 개발사 오픈AI에 이어 앤트로픽과 메타의 인공지능(AI) 모델에서도 인터넷에 무단 접근하거나 통제 범위를 벗어나는 이른바 ‘불량 에이전트’ 사고가 잇따라 발생하고 있다. 불과 한 달 사이 AI 테스트 과정에서 3차례나 기존 안전 원칙이 깨졌다는 지적이 나오면서 고도화하는 ‘AI 에이전트’의 통제 문제가 새로운 보안 과제로 떠올랐다.
영국 BBC 방송은 AI 모델의 ‘통제 이탈’ 사고가 연이어 발생하는 배경에는 AI 성능이 빠르게 고도화하는 만큼 이를 시험하는 환경의 보안 체계가 따라가지 못하는 상황이 있다고 보도했다.
앨런 우드워드 영국 서리대 사이버보안 교수는 “지난 30년간 소프트웨어 테스트에서는 ‘테스트 환경에서 발생한 일은 테스트 환경 안에 머문다’는 원칙이 지켜져 왔다”며 “지난 한 달 동안 이 원칙이 세 차례나 깨졌다”고 지적했다.
 |
| 메타 로고. [로이터] |
앞서 메타는 지난 5일 자사 AI 모델 ‘뮤즈 스파크’가 독립 검증업체 ‘이레귤러’가 진행하는 시험 도중 인터넷에 무단 접속했고 이후 다른 기관의 시스템을 해킹한 사실을 확인했다고 밝혔다. 뮤즈 스파크는 이레귤러의 설정 오류로 인터넷에 연결됐으며, 취약점을 악용해 외부 기관에 무단 접속한 것으로 나타났다.
 |
| 앤트로픽의 인공지능(AI) 모델 클로드. [게티이미지] |
미국 간판 AI 스타트업 앤트로픽 역시 자사의 AI 모델 클로드가 테스트 중 외부 기관 3곳을 해킹하는 사고가 있었다고 지난달 30일 밝혔다. 앤트로픽은 성명을 통해 “총 14만1006건의 평가 사례를 검토한 결과, 이러한 해킹 사례가 나타났다며 첫 번째 사례는 4월에 발생했다”고 설명했다.
 |
| 오픈AI의 인공지능(AI) 모델 챗GPT. [EPA] |
오픈AI의 경우 ‘GPT-5.6 솔’과 일부 미공개 AI 모델이 내부 평가 도중 통제를 벗어나 개방형(오픈소스) AI 공유 플랫폼 ‘허깅페이스’를 해킹한 사실이 드러났다. 오픈AI는 이들 모델의 사이버 공격 능력을 평가하기 위해 외부 인터넷과 격리된 ‘샌드박스’ 환경에서 시험을 진행했으나, AI 모델들은 미공개(제로데이) 취약점을 이용해 통제 망을 뚫고 인터넷에 접속했다고 했다. 이들 모델은 허깅페이스에 접속해 인증 정보를 탈취하고 해당 서버를 해킹한 것으로 나타났다.
 |
| 중국 문샷AI의 개방형(오픈소스) 모델 ‘키미 K3’. [로이터] |
미국의 주요 AI 모델에 이어 최근 주목받고 있는 중국 문샷AI의 개방형(오픈소스) 모델도 보안 통제환경을 이탈한 사례가 보고됐다. 미국의 사이버 보안 전문업체 ‘프런티어 시큐리티’는 영국의 AI안전연구소(AISI)가 무료 배포한 ‘샌드박스’ 소프트웨어로 구축한 격리 환경에서 문샷AI 최신모델 ‘키미 K3’의 보안 평가를 진행하는 도중 이 모델이 샌드박스를 무단 탈출한 사실을 확인했다고 6일 밝혔다.
키미 K3 모델은 평가를 위한 과제를 푸는 과정에서 샌드박스를 벗어나 외부 인터넷망을 통해 개발자들의 코드 공유 사이트인 ‘깃허브’에 접속한 것으로 나타났다. 이 모델은 깃허브를 해킹하지는 않았지만, 해당 사이트에 올라온 내용을 살펴보고 이를 토대로 과제를 해결한 것으로 조사됐다. 시험 도중 인터넷에 몰래 접속해 정답을 확인하고 이를 베껴 답안지를 제출하는 ‘커닝’을 한 셈이다.
토마스 울프 허깅페이스 공동창업자는 최근 일련의 사건을 “기술업계에 경종을 울리는 계기가 됐다”고 평가했다.
 |
| [123rf] |
전문가들은 AI 모델들의 해킹 사고의 직접적인 원인은 서로 달랐지만 모델들의 성능이 고도화하면서 기존의 테스트 환경 자체가 새로운 보안 취약점이 되고 있다고 진단했다.
우드워드 교수는 “AI 에이전트를 시험하는 것은 코드를 점검하는 것보다 위험물질을 다루는 것에 가깝다”고 말했다.
AI가 단순히 질문에 답하는 챗봇에서 사람을 대신해 실제 업무를 수행하는 ‘AI 에이전트’로 진화하면서 이 같은 위험은 더욱 커질 수 있다는 우려도 제기된다. 자율성을 부여한 AI 에이전트의 기능이 예상하지 못한 행동으로 이어져 실제 외부 시스템에 미칠 위험이 커진다는 지적이다.
영국 국가사이버보안센터(NCSC)의 올리 화이트하우스 최고기술책임자(CTO)는 AI의 통제되지 않은 행동에 대한 경계가 필요하다는 입장이다. 그는 “최근 최첨단 AI 모델이 승인받지 않은 행동을 하고, 일부 사례에서는 공개 인터넷에서 인간과 유사한 기만적 행동까지 보였다는 사실은 AI 능력이 초래하는 위험을 심각하게 상기시켜 준다”고 말했다.
AI의 능력이 빠르게 향상되면서 인간의 감독만으로 통제 이탈을 방지하기 어려워질 수 있다는 관측도 제기된다. AI 에이전트가 처리하는 업무량이 급증할 경우 사람이 모든 행동을 일일이 확인하는 방식에는 한계가 있기 때문이다.
AI 모델들이 통제 환경을 이탈하는 경우를 예방하기 위해선 AI 기업의 자율적인 안전성 평가를 넘어 제3자 검증과 정부 차원의 감독 체계를 강화해야 한다는 방안이 제시되고 있다.
우드워드 교수는 “밀폐된 공간과 외부로 나가는 것에 대한 상시 감시, 사전에 연습된 격리 대응 계획이 필요하다”고 설명했다.
이모젠 스테드 장기회복력센터 AI 정책 매니저는 “각국 정부가 영국의 AI보안연구소(AISI)처럼 첨단 AI 모델의 안전성을 전문적으로 평가하는 기관을 설립할 필요가 있다”며 “위험성이 높은 시험은 일정한 자격을 갖춘 기관에 맡기는 제도를 통해 제3자 검증 체계를 강화해야 한다”고 제시했다.
