엘리스그룹, 1900억 토큰 규모 한국어 AI 교육 데이터셋 공개

엘리스그룹은 한국어 교육용 인공지능(AI) 데이터셋 2종을 글로벌 오픈소스 플랫폼 허깅페이스에 공개했다고 14일 밝혔다.

이번에 공개된 데이터셋은 학술·교육 도메인에서 한국어 거대 언어 모델(LLM) 성능 강화를 목표로 설계된 ‘한국어 파인웹 교육 데이터셋 데모’와 ‘한국어 웹 텍스트 교육 데이터셋’이다. 엘리스그룹은 연구자와 개발자, 기업이 한국어 AI 모델 학습에 활용할 수 있도록 고품질 데이터를 오픈소스로 제공한다는 계획이다.

‘한국어 파인웹 교육 데이터셋 데모’는 영문 교육용 웹 텍스트 코퍼스인 FineWeb-Edu를 한국어로 번역한 ‘korean-translated-fineweb-edu-dedup’의 5%를 샘플 형태로 구성한 데이터셋이다. 학술·교육 분야 한국어 LLM 학습을 위한 데이터 특성과 활용 가능성을 사전에 검증할 수 있도록 설계됐다.

해당 데모의 원본 데이터셋은 약 1900억 토큰 규모로 수천만 페이지 분량에 해당한다. 다국어 데이터와 함께 활용할 경우 파운데이션 모델 학습에도 적용 가능한 수준이다. 이번에 공개된 데모 역시 오픈소스로 공개된 한국어 고품질 교육 데이터셋 가운데서는 대규모에 속한다.

함께 공개된 ‘한국어 웹 텍스트 교육 데이터셋’은 대규모 한국어 웹 문서 가운데 사실성, 문맥 일관성, 교육 적합성 기준을 충족한 콘텐츠만 선별해 구축했다. 교육적 가치 점수를 기반으로 정제해 한국어 AI 모델 학습에 바로 활용할 수 있도록 구성한 것이 특징이다.

엘리스그룹은 이번 데이터셋 공개를 통해 한국어 AI 연구 환경의 진입 장벽을 낮추고, 교육·연구·공공 영역에서 한국어 AI 모델 활용을 확대한다는 방침이다. 향후 AI 인프라와 클라우드, 데이터 엔지니어링 역량을 결합해 한국어 특화 AI 서비스와 산업 솔루션 개발도 가속화할 계획이다.

김수인 엘리스그룹 CRO는 “데이터 접근성과 품질은 AI 기술 발전의 핵심 요소”라며 “실제 모델 학습과 서비스 환경에서 검증된 기준을 적용해 연구자와 개발자, 기업이 활용할 수 있는 고품질 한국어 데이터셋을 구축했다”고 말했다. 이어 “데이터와 모델, 인프라를 아우르는 기술 역량을 바탕으로 한국어 AI 연구와 산업 생태계 성장에 지속적으로 기여하겠다”고 밝혔다.