글로벌 AI 경쟁은 ‘멀티모달’인데…독파모는 2차까지 LLM 평가

글로벌 AI 모델 경쟁이 텍스트를 넘어 이미지·음성·영상 등을 동시에 처리하는 멀티모달로 이동했지만 정부의 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트 2차 평가는 대규모언어모델(LLM) 평가에만 머무른 것으로 나타났다. 프런티어 모델의 95%를 따라잡겠다던 독파모가 글로벌 기술 변화 속도를 따라가지 못하고 있다는 지적이 나온다.

19일 본지 취재를 종합하면 ‘독파모’ 2차 단계평가에서 4개 정예팀 모델 모두 이미지 첨부가 불가능해 멀티모달 역량을 확인하기 어려웠다. 2차 평가 참여자는 “업스테이지 모델만 텍스트 파일 첨부가 가능했으며 4개 정예팀 모델 모두 이미지 업로드 자체가 불가능했다”고 지적했다. 멀티모달은 텍스트, 이미지, 오디오, 비디오 등 서로 다른 형태의 데이터를 동시에 처리하고 해석하는 기술이다. 이미지 첨부는 멀티모달 기능을 확인할 수 있는 가장 기본적인 방법이다.

당초 독파모는 3단계 평가를 거쳐 최종 2개 정예팀을 선정하고 2027년까지 추가 개발을 통해 글로벌 최상위 모델 대비 95% 수준의 역량을 갖춘 모델을 개발하는 것을 목표로 추진됐다. 글로벌 최상위 모델을 추격하려면 텍스트 성능뿐 아니라 멀티모달 역량까지 평가해야 한다는 지적에 힘이 실리는 이유다.

글로벌 AI 업계에서는 이미 2024년부터 이미지와 음성 등을 함께 처리하는 멀티모달 모델이 본격 상용화됐다. 오픈AI는 2024년 5월 텍스트·이미지·음성·영상 등을 하나의 모델에서 처리하는 ‘GPT-4o’를 공개했다. 구글은 2023년 말 처음부터 멀티모달을 염두에 두고 설계한 ‘제미나이’를 선보였다. 앤스로픽도 2024년 3월 첫 멀티모달 AI ‘클로드3’를 공개했다.

이제 최상위 모델 경쟁에서 멀티모달은 선택이 아닌 필수가 됐다. AI 업계 관계자는 “글로벌 빅테크를 비롯해 중국도 멀티모달을 기반으로 고도화하고 있는데 독파모는 LLM 경쟁에 머물러 있는 것”이라며 “빠르게 변하는 글로벌 경쟁에서 동떨어지지 않으려면 3차에선 멀티모달 평가를 반영해야 한다”고 말했다.

▲류제명 과학기술정보통신부 2차관이 18일 오전 서울 종로구 정부서울청사에서 독자 AI파운데이션 모델 프로젝트 2차 단계평가 결과 발표를 하고 있다. (뉴시스)

실제 산업 현장에서도 이미지와 업무 문서를 함께 처리할 수 있는 비전언어모델(VLM)의 중요성이 커지고 있다. 최병호 고려대 휴먼인스파이어드 AI연구원 연구교수는 “산업계에서 잘 쓸 수 있는 모델을 만드는 게 독파모의 중요한 기준”이라며 “멀티모달과 에이전트 기능이 통합된 ‘비전 랭귀지 액션 모델’이 업계의 지향점”이라고 강조했다.

독파모가 LLM 개발 프로젝트로 출발한 만큼 과학기술정보통신부는 2차 평가까지 LLM 중심이었지만 3차 평가에선 멀티모달을 반영해야 한다고 보고 있다. 과기정통부는 프론티어 모델 기업에 버금가는 경쟁이 가능하도록 지원 방식을 전면 재편하는 방안을 관계 부처와 논의 중이며 조만간 구체적 내용을 발표할 방침이다. 과기정통부 관계자는 “LLM 성능이 어느 정도 올라왔기 때문에 다음 단계로는 이미지나 오디오, 비디오 인식이 가능한 멀티모달이 당연히 들어가야 할 것”이라며 “3차 평가에서 모델의 매개변수(파라미터)도 키우고 성능도 높여야 미토스급 개발이 가능하다”고 설명했다.

앞으로 3개 정예팀의 승부처는 멀티모달 역량이 될 전망이다. 업스테이지는 3차 평가부터 언어와 이미지를 통합적으로 이해하는 멀티모달 기능을 확보한다고 밝힌 바 있다. LG AI연구원도 멀티모달 모델 수립을 목표로 하는 것으로 전해졌다. 최근 에이닷엑스 케이투(A.X K2) 비전랭귀지 라이트 프리뷰(VL Light-Preview)를 공개한 SKT는 음성 데이터와 영상 데이터도 처리할 수 있도록 멀티모달을 고도화할 예정이다.