모티프, 독파모 2차 평가 이의 제기 신청…3차 평가 불참 선언

▲류제명 과학기술정보통신부 2차관이 18일 오전 서울 종로구 정부서울청사에서 독자 AI파운데이션 모델 프로젝트 2차 단계평가 결과 발표를 하고 있다. (뉴시스)

모티프테크놀로지스가 정부의 '독자 AI 파운데이션 모델 사업' 2차 단계 선정 결과와 관련해 정식 이의 제기를 신청했다. 다만 모티프는 이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다고 밝혔다.

27일 모티프는 "독자 AI 파운데이션 모델 사업 2차 단계 선정 결과와 관련해 정식으로 이의 제기를 신청했다"며 입장문과 이의 제기 사항을 공개했다.

회사는 △평가 결과와 상세 평가 내용 공개 △벤치마크 평가의 배점 산정 방식 근거 제시 △전문가 평가 상세 기준과 결과 공개 △사용자 평가의 방법론, 상세기준, 결과 공개 등을 요구했다.

모티프 3 모델은 글로벌에서 폭넓게 활용되는 종합 성능지표인 AAII에서 47점을 획득했다. 독파모에 제출된 다른 모델의 AAII 점수는 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이었다.

모티프는 " 평가 결과 자체는 존중하고 받아들였지만 여러 언론에서 과기정통부는 모티프 3가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다"며 "일부 언론에 보도된 과기정통부 고위 관계자 발언에서는 모티프 3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다는 평가까지 언급됐다"고 지적했다.

이어 "이러한 내용은 독파모 사업의 본질과 향후 나아가야 할 방향에 대한 근본적인 의문을 제기한다고 생각한다"며 "저희가 추구해 온 기술적 방향성과 그 결과물에 대해 일부 오해가 있을 수 있다는 문제의식에서 평가점수의 상세한 공개와 재심의를 요청한다"고 설명했다.

모티프는 평가 배점과 전문가·사용자 평가 방식에 문제를 제기했다. 독파모 2차 평가는 벤치마크 평가 40점(AAII 25점·NIA 15점), 전문가 평가 35점, 사용자 평가 25점으로 구성됐다.

모티프는 이 가운데 벤치마크 평가 배점 산정 방식에 문제가 있다고 주장했다. 글로벌 최고 수준 모델의 AAII 점수가 63점인데 이를 25점 만점으로 환산하면 15.75점에 불과해 모델 간 실제 성능 차이가 평가 점수에 충분히 반영되기 어렵다는 것이다.

모티프는 "AAII 점수가 가장 낮은 LG의 경우 이전 1차 대비 모델 규모를 2배 이상 키웠지만 벤치마크 점수 개선은 미미했다"며 "가장 성능이 낮은 모델이 전문가 평가에서 1위를 차지했다는 결과에 대한 구체적인 판단 근거를 이해하기 어렵다"며 전문가 평가의 판단 근거가 공개돼야 한다고 밝혔다.

또한 "전문가 평가 과정에서 '컨소시엄의 주관, 참여기업 중 외국계 자본이나 해외 법인이 의결권 있는 주요주주로 참여하고 있는 기업이 있느냐'와 같이 그 목적을 이해하기 어려운 질문들을 서면으로 요청받은 바 있다"며 관련 평가 기준에 대한 설명을 요구했다.

사용자 평가에 대해서도 "브랜드 인지도나 선입견이 평가에 영향을 미칠 가능성을 배제하기 어려워 모티프는 블라인드 평가를 요청한 바 있다"며 블라인드 평가 방식 적용 여부와 상세 결과 공개를 요청했다.

다만 모티프는 "이의 제기는 저희가 독파모에 선정돼야 한다는 주장을 위한 것이 아니다"라며 "이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다"고 밝혔다.