- AI 학습 안전성 유지 프레임워크 개발
 |
| 이번 연구를 수행한 KAIST 연구진. 이원준(왼쪽부터) 박사과정, 김창익 교수, 함석일, 장재혁 박사과정.[KAIST 제공] |
[헤럴드경제=구본혁 기자] 국내 연구진이 대형언어모델을 사용자 맞춤형으로 학습시키는 과정에서 안전성이 무너지는 문제를 막고, 오히려 학습 전보다 더 안전한 상태로 강화할 수 있는 핵심기술을 개발했다
KAIST는 전기및전자공학부 김창익 교수 연구팀이 챗GPT와 같은 대형언어모델(LLM, Large Language Model)을 개인이나 기업의 데이터에 맞게 다시 학습시키는 파인튜닝에서 안전성이 훼손되는 문제를 해결하는 ‘버퍼 앤드 리인포스(Buffer-and-Reinforce)’ 학습 프레임워크를 개발했다고 15일 밝혔다.
기존 AI를 맞춤형으로 학습시키면 새로운 업무 능력은 향상되지만 기존의 안전 규칙이 함께 약화되는 문제가 AI 개인화 시대의 가장 큰 과제로 꼽혀왔다. 연구팀은 AI가 원래 거부해야 할 위험한 요청에도 응답할 수 있도록 만든 ‘탈옥(Jailbreak)’ 상태의 AI를 맞춤형으로 학습시키면 오히려 안전성이 크게 훼손되지 않는다는 기존 연구 결과에 주목했다.
연구팀은 탈옥 상태를 실제 서비스에 사용하는 것이 아니라 완충 모듈인 ‘버퍼로라(BufferLoRA)’를 활용해 맞춤형 학습 과정에서만 일시적으로 적용한 뒤 제거하는 새로운 접근법을 고안했다.
연구팀은 왜 이러한 현상이 발생하는지를 세계 최초로 규명했다. 그 결과 탈옥 상태의 AI는 위험한 정보에는 더 이상 쉽게 영향을 받지 않는 반면, 사용자가 원하는 새로운 업무 능력은 그대로 효과적으로 학습한다는 사실을 확인했다.
 |
| 버퍼 앤드 리인포스 프레임워크 모식도.[KAIST 제공] |
실험 결과, 사용자 데이터가 모두 위험한 질문과 답변으로 구성된 극단적인 환경에서도 AI는 높은 안전성을 유지했다. 재학습 이후 위험한 답변을 생성하는 비율은 약 8%로, 재학습을 하지 않은 기존 모델의 약 18%보다도 낮은 수준을 기록했다. 또한 별도의 안전성 재학습이나 추가적인 계산 비용 증가 없이 맞춤형 성능과 최고 수준의 안전성을 동시에 확보해 실제 AI 개인화 서비스에도 효율적으로 적용할 수 있는 가능성을 제시했다.
이 기술은 대형언어모델을 개인 또는 기업의 목적에 맞게 재학습하는 모든 분야에 적용될 수 있다. 예를 들어 기업 내부 문서 기반 업무 보조 AI, 의료·법률·금융 등 민감한 정보를 다루는 전문 분야 AI, 교육용 맞춤형 AI, 고객 상담 챗봇, 연구 보조 AI 등에 활용 가능하다. 특히 사용자 데이터가 다양하고 통제하기 어려운 실제 서비스 환경에서는, 모델의 개인화 성능을 유지하면서도 안전성을 보장하는 기술이 필수적이다.
김창익 교수는 “이번 연구는 누구나 자신의 데이터로 맞춤형 AI를 자유롭게 만들면서도 더욱 안전하게 사용할 수 있도록 하는 핵심 기반 기술”이라며 ”향후 텍스트 기반 대형언어모델을 넘어 멀티모달 AI와 에이전트형 AI 시스템에서도 안전한 개인화가 가능하도록 후속 연구를 진행할 계획”이라고 말했다.
이번 연구결과는 인공지능 분야 세계 최고 학술대회인 ‘국제머신러닝학회 2026’에서 7월 전체 투고 논문 중 상위 약 2.2%에만 주어지는 스포트라이트 논문으로 채택되어 세계적인 주목을 받았다.
