독파모 5개팀 AI 학습데이터 푼다…1.56조 토큰 무료 개방

▲과학기술정보통신부 (사진제공=과학기술정보통신부)

정부가 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트를 통해 확보한 1조5600억 토큰 규모의 인공지능(AI) 학습용 데이터를 민간에 개방한다. 독파모 5개 정예팀이 모델 개발 과정에서 구축한 데이터로 국내 기업과 연구자, 학생 등이 무료로 활용할 수 있다.

과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 독파모 5개 정예팀이 1차 단계평가 과정에서 확보한 AI 학습용 데이터 29종을 AI허브에 공개한다고 27일 밝혔다. 데이터는 약 3544만건, 1조5600억 토큰 규모다.

이번 데이터는 네이버클라우드와 업스테이지, SK텔레콤, NC AI, LG AI연구원이 지난해 150억원의 데이터 구축·가공 예산을 활용해 확보했다. 사전학습용 대규모 데이터부터 영상·음성 등 멀티모달, AI 안전성 확보를 위한 레드티밍 데이터까지 포함한다. 약 700억~800억개(70~80B) 매개변수 수준의 대형 AI 모델 학습에 활용할 수 있는 규모다.

업스테이지는 1조 토큰 규모의 사전학습 데이터와 50만건의 사후학습 데이터를 공개한다. 네이버클라우드는 공개·방송 영상과 이를 기반으로 한 텍스트·음성 데이터를 구축했다. SK텔레콤은 수학·과학·법률 등 전문 영역의 추론 데이터와 한국형 레드티밍 데이터를 마련했다.

NC AI는 제조 기술문서와 민원 상담 음성 등을 활용한 데이터 7종을, LG AI연구원은 국내 50개 실제 가정에서 50종 이상의 가사 활동을 촬영한 피지컬 AI 멀티모달 데이터를 구축했다.

네이버클라우드와 업스테이지, SK텔레콤, NC AI는 품질 검증을 거친 데이터를 개방하고 LG AI연구원은 의무 개방량인 50% 이상을 선별해 공개한다. 공개 데이터는 대한민국 국민이라면 누구나 AI허브에서 무료로 내려받아 활용할 수 있다.

과기정통부는 독파모 2차 단계평가 과정에서 추가로 구축되는 데이터도 품질 검증을 거쳐 개방할 계획이다.