모두가 "국내 AI 1등" 외치지만…공정성 담보할 ‘잣대’ 모호

▲배경훈(왼쪽 두 번째부터) 부총리 겸 과학기술정보통신부 장관, 하정우 청와대 AI미래기획수석 등이 30일 오후 서울 강남구 코엑스에서 열린 독자 AI 파운데이션 모델 프로젝트 1차 발표회에 참석해 기념촬영을 하고 있다. (뉴시스)

‘독자 AI 파운데이션 모델 프로젝트’ 1차 선발을 앞두고, 정예팀에서 탈락한 기업들까지 ‘국내 1등’을 자처하면서, AI 성능 평가의 객관성을 둘러싼 논란이 확산하고 있다. 각 기업이 다양한 벤치마크를 근거로 성능 우위를 주장하고 있지만, 모델마다 규모와 지향점이 다른 상황에서 공정한 평가 기준은 여전히 모호하다는 지적이다. 특히 어떤 평가지표를 활용하느냐에 따라 성능 결과가 달라질 수 있는 만큼, 국가대표 AI 선발 과정에서 평가의 공정성과 형평성을 둘러싼 논란이 불가피하다는 것이다.

최근 카카오는 대화와 추론을 결합한 차세대 모델 ‘카나나-하이브리드’를 공개하며 “특정 추론 영역에서 글로벌 모델을 뛰어넘는 성과”라고 강조했다. KT도 자체 개발한 ‘믿:음K’가 해외 AI 평가기관 ‘아티피셜 애널리시스’에서 국내 중소형 모델 1위를 기록했다고 자신했다.

업계에선 기업이 자기에게 가장 유리한 벤치마크 결과를 선택적으로 공개하는 것이 일반적이라는 평가가 나온다. 수학, 언어, 멀티모달, 산업 특화 등 모델마다 지향점과 강점이 다른 만큼 어떤 벤치마크로 평가하느냐에 따라 결과는 달라질 수 있기 때문이다. 벤치마크 자체의 독립성 문제도 있다. 지난해 오픈AI가 수학 벤치마크 ‘프론티어매스’ 개발 자금을 지원한 사실을 공개하지 않은 채 해당 벤치마크에서 자사 모델이 상대적으로 높은 점수를 받은 사실이 뒤늦게 논란이 된 바 있다.

기업이 자체 개발한 AI 성능을 1위로 홍보하는 것 자체는 문제 삼기 어렵다. 다만 그 기준이 국가대표 AI 선정 여부를 가르는 잣대로 활용될 경우 얘기는 달라진다. 하나의 벤치마크로는 실제 성능을 입체적으로 평가하기 어렵고, 어떤 지표를 선택했느냐에 따라 결과가 크게 달라질 수 있어 평가의 공정성과 형평성 문제가 제기될 수밖에 없다는 지적이다.

모델 간 ‘체급 차이’ 역시 민감한 변수다. 한 AI 업계 관계자는 “SKT는 매개변수 500B(5000억 개) 규모이고, 네이버는 32B(320억 개) 규모인데 사이즈별로 비례해서 점수를 매기는 것도 이상하지 않나”라며 “각 사가 중점을 둔 부분이 다르니 여러 벤치마크의 가중치를 다르게 뽑을 것 같다”고 말했다. 기본적으로 AI 모델의 크기는 성능과 비례하다고 여겨진다.

AI 전문가들은 체급과 특징이 다른 모델들을 어떤 기준으로 평가할 것인지가 최대 쟁점이라고 입을 모은다. 최병호 고려대 AI연구소 교수는 “빅테크 기업들이 많이 쓰는 벤치마크는 있지만, 객관적인 벤치마크는 존재하지 않는다”며 “어떤 평가지표를 선택하는지에 따라 유불리가 결정되는 구조인 만큼 ‘룰 설계’ 자체가 논란이 될 수 있다”고 지적했다.

이런 맥락에서 전문가들은 국가대표 AI 선정 과정이 단기적인 순위 경쟁으로 흐르는 분위기를 경계한다. 최재식 카이스트 김재철AI대학원 교수는 “국내 AI 경쟁은 서열을 가르는 싸움이 아니라, 국제적으로 통용되는 기준에서 기술력을 축적하는 방향으로 가야 한다”며 “5개사 중 1등이어도 글로벌 기준에서 뒤쳐지면 의미가 없다”고 지적했다.