네이버 하이퍼클로바X, 한국어 성능 평가서 GPT-4 제쳤다

입력 2024-02-27 14:17
  • 가장작게

  • 작게

  • 기본

  • 크게

  • 가장크게

(사진제공=네이버)
(사진제공=네이버)
네이버클라우드 하이퍼클로바X가 한국판 인공지능(AI) 성능 평가 체계 'KMMLU'에서 오픈AI, 구글의 생성형 AI보다 높은 점수를 기록하며 소버린 AI로서 우수한 성능 경쟁력을 확인할 수 있었다고 27일 밝혔다.

KMMLU는 국내의 대표적인 오픈소스 언어모델 연구팀인 ‘해례(HAE-RAE)’가 이끈 AI 성능 평가 지표 구축 프로젝트다. 인문학, 사회학, 과학∙기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만5030개 문항으로 구성돼 있다. 수학적 추론 능력과 같이 전세계 공통적으로 적용 가능한 광범위한 지식을 묻는 문항 비중이 약 80%, 한반도 지리, 국내법 등 한국 특화 문제 해결 능력을 평가하기 위한 문항은 20%로, AI의 보편적 능력과 로컬 지식을 고르게 측정해 한국 사용자에게 유용한 AI를 종합적으로 판단할 수 있다.

오픈AI, 구글 등 북미 테크 기업들이 자사 AI 성능을 확인하기 위해 주로 사용하는 지표인 ‘MMLU’를 한국어로 번역하는 경우, 문항의 부정확한 번역과 여러 문제에 내재된 영어권 국가만의 문화적 맥락 때문에 AI 모델의 한국어 능력을 제대로 가늠하기 어려운 한계가 있었다. KMMLU는 한국어 원본의 시험 문제들로 구성되어, 국내∙외 AI의 한국어 이해 역량도 보다 정확하게 평가할 수 있다.

KMMLU 연구 논문에 따르면 하이퍼클로바X는 오픈AI의 GPT-3.5-Turbo와 구글의 Gemini-Pro보다 높은 점수를 기록하며, 일반 지식(General Knowledge)과 한국 특화 지식(Korea-Specific Knowledge)을 종합한 전반적인 성능이 글로벌 빅테크의 AI와 경쟁할 수 있는 수준임이 확인됐다. 한국 특화 지식 기준으로는 오픈AI의 GPT-4보다도 높은 점수를 기록해, 교육, 법률 등 로컬 정보의 중요성이 큰 산업 분야에서는 하이퍼클로바X가 가장 유용할 수 있음을 보였다.

네이버클라우드는 KMMLU를 통해 입증된 하이퍼클로바X의 성능 경쟁력을 바탕으로, 하이퍼클로바X를 보안과 성능을 모두 갖춘 ‘소버린 AI’ 솔루션으로 발전시켜나가겠다는 계획이다. 지난해 10월에 고객사가 폐쇄된 사내망에서 하이퍼클로바X를 사용하며 데이터 유출을 방지할 수 있는 하이브리드 클라우드 서비스 ‘뉴로클라우드 포 하이퍼클로바X’를 출시했고, 향후 다양한 기업용 솔루션도 선보일 계획이다.

성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 “하이퍼클로바X는 세계 공통의 보편 지식에 한국 특화 문제 해결 능력을 더한 소버린 AI로, 우수한 성능, 강력한 보안을 갖춘 솔루션과 함께 국내 산업계 전반에서 도입이 이뤄지고 있다”며 “자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼, 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것”이라고 말했다.

  • 좋아요0
  • 화나요0
  • 슬퍼요0
  • 추가취재 원해요0

주요 뉴스

  • 살아남아야 한다…최강야구 시즌3, 월요일 야구 부활 [요즘, 이거]
  • 블랙스톤 회장 “AI붐에 데이터센터 급증…전력망 과부하 엄청난 투자 기회”
  • 기후동행카드, 만족하세요? [그래픽뉴스]
  • 단독 출생신고 않고 사라진 부모…영민이는 유령이 됐다 [있지만 없는 무국적 유령아동①]
  • “인천에 이슬람 사원 짓겠다”…땅 문서 공개한 한국인 유튜버
  • 파월 ‘매파 발언’에 우는 비트코인…중동 위기 감소·美 경제 강세에도 약세 [Bit코인]
  • 금리의 폭격, "돈 줄 마를라"전정긍긍...좀비기업 좌불안석 [美 국채 5%의 소환]
  • “자물쇠 풀릴라” 뒷수습 나선 쿠팡…1400만 충성고객의 선택은? [이슈크래커]

실시간 암호화폐 시세

  • 종목
  • 현재가(원)
  • 변동률
    • 비트코인
    • 93,401,000
    • -1.06%
    • 이더리움
    • 4,532,000
    • -2.03%
    • 비트코인 캐시
    • 695,500
    • -4.92%
    • 리플
    • 726
    • -1.36%
    • 솔라나
    • 200,100
    • -1.72%
    • 에이다
    • 667
    • -4.03%
    • 이오스
    • 1,092
    • -2.67%
    • 트론
    • 167
    • +0%
    • 스텔라루멘
    • 160
    • -1.23%
    • 비트코인에스브이
    • 97,000
    • -2.85%
    • 체인링크
    • 19,790
    • -1.79%
    • 샌드박스
    • 633
    • -2.62%
* 24시간 변동률 기준