“엔비디아, 초대형 오픈소스 AI모델 개발”

매개변수 1조개, 현 최대 모델의 2배
가을 공개 목표…오픈AI와도 경쟁
엔비디아가 인공지능(AI) 산업 동향을 조명하는 행사인 gtc 컨퍼런스를 알리는 안내판 [게티이미지]

[헤럴드경제=서지연 기자] 엔비디아가 매개변수(파라미터) 1조개 이상 규모의 초대형 오픈소스(개방형) 인공지능(AI) 모델 개발에 착수한 것으로 전해졌다. 최대 고객인 오픈AI를 비롯한 인공지능(AI) 모델 개발사들과 경쟁 구도가 형성될 수 있지만, 오픈소스 AI 생태계가 확대될수록 결국 자사 AI 반도체 수요도 함께 늘어날 것이라는 전략이 깔린 것으로 분석된다.

IT 전문매체 디인포메이션은 11일(현지시간) 엔비디아가 차세대 오픈소스 AI 모델 ‘네모트론5(Nemotron 5)’를 개발하고 있다고 보도했다.

새 모델은 파라미터 1조개 이상 규모로, 지난 6월 공개한 현재 최대 모델인 ‘네모트론3 울트라’보다 약 두 배 커질 전망이다. 엔비디아는 세계 최고 수준의 오픈소스 AI 모델과 경쟁할 수 있는 성능을 목표로 개발을 진행하고 있는 것으로 알려졌다.

엔비디아는 이날 대형 모델을 ‘증류(distillation)’ 기법으로 압축한 파라미터 300억개 규모의 경량 모델 ‘네모트론3.5 라이트닝’도 함께 공개했다. 대형 모델의 성능을 유지하면서 연산 비용을 줄여 기업들의 활용성을 높이겠다는 전략이다.

다만 네모트론5가 공개되더라도 파라미터 규모에서는 중국 경쟁사들에 미치지 못할 것으로 보인다. 문샷AI의 ‘키미 K3’는 약 2조8000억개, 알리바바의 ‘큐원(Qwen) 3.8 맥스’는 2조4000억개, 딥시크 V4 프로는 1조6000억개 이상의 파라미터를 갖춘 것으로 알려졌다. 현재 모델인 네모트론3 울트라도 주요 벤치마크에서 미국 오픈소스 모델 가운데 2위 수준에 머물고 있으며, 중국 최상위 모델과는 성능 차이가 있는 것으로 평가된다.

엔비디아는 단순히 모델 크기를 키우기보다 모델 압축과 추론 최적화 기술을 통해 성능 격차를 줄이겠다는 전략이다. 젠슨 황 엔비디아 최고경영자(CEO)도 그동안 오픈소스 AI가 안전과 사이버보안, 과학 발전, 국가 안보에 기여한다며 개방형 AI 생태계를 적극 지지해왔다.

네모트론5의 구체적인 사양과 출시 일정은 아직 확정되지 않았다. 사전학습 데이터와 기본 아키텍처는 대부분 정리됐지만 최종 학습이 진행 중으로, 이르면 올 가을 공개될 가능성이 거론된다.

이번 프로젝트에는 이전보다 훨씬 많은 연구 인력이 투입되고 있다. 직전 대형 모델인 네모트론3 연구 논문에는 570명의 연구자가 참여했으며, 차세대 모델에는 이보다 더 많은 인력이 참여할 것으로 전해졌다.

엔비디아는 자체 AI 모델 개발에 필요한 컴퓨팅 자원 확보에도 속도를 내고 있다. 자사 GPU를 구매한 클라우드 사업자로부터 AI 서버를 다시 임차하는 방식으로 연산 자원을 확보하고 있으며, 지난 4월 기준 클라우드 서비스 장기 계약 규모를 2031년까지 280억달러로 확대했다. 이는 1년 전보다 약 3배 늘어난 규모다.

다만 자체 초거대 모델 개발은 최대 고객인 오픈AI를 비롯해 엔비디아가 투자한 리플렉션AI, 씽킹머신스랩 등 AI 스타트업과 경쟁 구도를 형성할 수 있다는 점에서 주목된다. 엔비디아는 오픈AI에도 대규모 투자를 진행한 상태다. 그럼에도 엔비디아는 다양한 오픈소스 모델이 등장할수록 결국 AI 학습과 추론에 필요한 GPU 수요도 함께 늘어날 것으로 보고 있다.

AI 모델 평가업체 아레나의 아나스타시오스 앙겔로풀로스 최고경영자(CEO)는 “어느 기업이 최고의 오픈소스 모델을 만들든 결국 승자는 엔비디아가 될 것”이라고 말했다.

엔비디아는 리플렉션AI와 커서, 씽킹머신스랩, 미스트랄, 프라임인텔렉트, 코그니션 등이 참여하는 ‘네모트론 연합(Nemotron Coalition)’을 통해 학습 데이터와 아이디어를 제공받고 있다. 네이버클라우드도 지난 6월 이 연합에 합류했지만 차세대 모델 개발에서 맡게 될 역할은 아직 공개되지 않았다.