모티프, 자체 개발 LLM '모티프 12.7B' 공개⋯“알리바바 큐원2.5 능가”

(사진제공=모티프테크놀로지스)

인공지능(AI) 스타트업 모티프테크놀로지스가 경량 모델을 공개한 지 7주 만에 기능을 강화한 자체 개발 거대언어모델(LLM) ‘Motif(모티프) 12.7B’를 공개했다고 6일 밝혔다.

모티프테크놀로지스가 허깅페이스에 오픈소스로 공개한 Motif 12.7B 모델은 127억개의 매개변수(파라미터)를 기반으로 모델 구축부터 데이터 학습까지 전 과정을 자체 기술로 수행했다. 이 모델은 기존 모델에 최고 수준의 그래픽처리장치(GPU) 활용 역량과 LLM 개발 노하우를 더해 기능을 대폭 강화했다. 모티프 측은 독자 개발한 ‘그룹 단위 차등 어텐션’ 기술과 ‘뮤온 옵티마이저 병렬화 알고리즘’ 기술을 통해 모델 성능과 학습 효율의 혁신적 향상을 이뤘다고 강조했다.

모티프테크놀로지스는 기술 혁신을 통해 개발과 운영 전 과정에서 비용 효율성을 극대화했다. 개발 단계에서 강화 학습 과정을 생략해 고비용 학습 부담을 크게 줄였다. 또한 운영 단계에서는 모델이 불필요한 추론 연산을 자동으로 회피함으로써 GPU 사용량 절감, 모델 관리의 단순화, 응답 지연 시간 최소화 효과를 얻었다.

이 모델은 수학·과학·논리력을 측정하는 벤치마크 결과 720억 매개변수를 가진 중국 알리바바의 큐원2.5를 능가했다. 구글 젬마3 동급 모델과 비교하면 주요 추론 능력 관련 지표에서 더 나은 점수를 보였다. 임정환 모티프테크놀로지스 대표는 “Motif 12.7B는 단순한 성능 향상을 넘어 AI 모델의 구조적 진화를 보여주는 사례”라며 “그룹 차등 어텐션 기술과 뮤온 옵티마이저 병렬화 알고리즘은 각각 LLM의 두뇌와 에너지 효율을 혁신적으로 재설계한 기술”이라며 “AI 모델의 구조적 진화를 보여주는 사례”라고 했다.

모티프테크놀로지스는 향후 100B 규모의 LLM을 공개하고 연말까지 T2V(텍스트 투 비디오) 모델을 오픈소스로 공개할 예정이다.