노타, ‘솔라 오픈2’ 전용 경량화 모델 공개…“엔비디아 H100 GPU 8장 필요했던 모델 2장 환경에서 구동”

가중치 메모리 최대 76.5% 감축…MoE 특화 양자화ㆍ프루닝 기술 적용

▲솔라 오픈2 모델 전용 경량화 적용 결과 (표제공 = 노타)

인공지능(AI) 모델 경량화 및 최적화 기술 전문기업 노타는 업스테이지와 함께 참여 중인 정부 독자 AI 파운데이션 모델 프로젝트의 2차수 성과물인 ‘솔라 오픈2(Solar Open 2)’ 전용 경량화 모델을 공개했다고 27일 밝혔다.

최근 딥시크와 문샷 AI의 키미 시리즈 등 고성능 오픈 웨이트 모델이 시장의 주목을 받으면서, AI의 경쟁 기준도 성능을 넘어 실제 업무에서의 에이전트 활용성과 운영 비용 효율로 확대되고 있다. 이에 노타의 이번 성과는 대규모 AI 모델의 인프라 부담을 대폭 낮춰 기업들의 AI 전환을 가속할 것으로 기대된다.

솔라 오픈2는 문서 업무와 코딩, 툴 호출, 다단계 추론 등 실제 기업 업무에 활용할 수 있는 에이전트 AI 구현에 초점을 맞춘 대규모 언어모델이다. 총 2500억 개의 매개변수를 갖추고 있으며, 실제 작업 시에는 필요한 150억 개만 활성화하는 ‘MoE (Mixture of Experts, 전문가 혼합)’ 구조를 채택했다. 이는 하나의 모델 안에 있는 여러 연산 모듈 중 일부만 선택해 작동시켜 연산 효율을 높이는 방식으로, 토큰 사용량이 많은 에이전트 업무에서도 효율적인 운영이 가능하다.

노타는 솔라 오픈2의 연산 효율을 실제 기업 환경에서의 배포 효율을 극대화하기 위해 △데이터 기반 MoE 양자화 △라우터 인지형 MoE 양자화 △비균일 전역 프루닝 기술을 적용했다. ‘데이터 기반 MoE 양자화’에는 모델 가중치를 INT4 또는 NVFP4 기반의 4비트 저정밀 형식으로 변환하면서도 모든 전문가 모듈이 안정적인 통계치를 확보할 수 있도록 캘리브레이션 데이터를 합성하는 기술인 ‘PASCAL-MoE’를 활용했다.

‘라우터 인지형 MoE 양자화’에는 양자화 이후에도 라우터의 전문가 선택이 안정적으로 유지되도록 설계한 자체 양자화 알고리즘을 적용했다. 또 양자화 중심의 기존 최적화 방식에서 한 발 더 나아가, 중요도가 낮은 전문가 모듈을 선택적으로 제거하는 ‘비균일 전역 프루닝 기술’을 도입했다.

노타 관계자는 “모델 가중치를 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리해 원본 모델의 가중치 메모리를 500.6GB에서 117.8GB로 약 76.5% 감축하는 데 성공했다”며 “메모리 용량 기준으로 NVIDIA H100 GPU 8장이 필요했던 원본 모델을 2장 환경에서도 구동할 수 있도록 최적화했으며 양자화 이후에도 솔라 오픈2의 에이전트 AI 핵심 기능인 툴 호출이 안정적으로 유지됐다”고 설명했다.

이는 단순히 모델 용량을 줄이는 데 그치지 않고 실제 기업 업무에 활용할 수 있는 수준의 최적화를 구현한 것으로, 기업의 AI 도입 실용성을 높이고 AX(AI Transformation, 인공지능 전환) 과정의 인프라 비용 효율화를 가능했다는 평가다.

김태호 노타 CTO는 “이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 형태로 최적화했다는 데 의미가 있다”며 “기업이 자사의 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확장할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화 및 경량화 기술을 지속해서 고도화하겠다”고 말했다.