“이미지 속 한글·문화유산도 척척”…KETI, 한국 특화 AI ‘해치’ 개발

외산 기반모델에 한국 데이터 추가 학습
문화유산 식별 정확도 최대 74%로 향상

▲HyperCLOVA X HAECHI 모델 성능. (사진=한국전자기술연구원(KETI))

한국전자기술연구원(KETI)이 이미지 속 한글과 한국 문화유산을 식별하고 검색·예약·구매 등 복합적인 작업까지 수행할 수 있는 AI 모델을 개발했다.

KETI는 이미지와 텍스트를 함께 처리하는 AI 모델 ‘HAECHI(해치)’ 2종을 개발했다고 1일 밝혔다.

해치는 사용자의 질문과 첨부 이미지를 동시에 분석하는 멀티모달 AI 모델이다. 이미지 속 한글과 한국 문화유산을 인식하는 데 특화됐으며 티켓 발권이나 상품 구매·환불, 서비스 가입처럼 여러 단계를 거치는 작업도 수행할 수 있다.

KETI AI기반모델연구센터 자연어처리 연구팀은 기존 AI 모델이 한글과 한국 문화유산을 제대로 식별하지 못하고 장기 작업 수행 능력도 부족하다는 점에 주목했다. 이에 기존 하이퍼클로바X와 Qwen3.5 모델에 한국의 사물·문화유산 이미지, 한글 간판, 공공 문서 등의 데이터를 추가 학습시켜 해치를 구축했다.

글로벌 범용 AI가 상대적으로 학습 기회가 적었던 한국 고유의 언어·문화 데이터를 보강해 국내 환경에서의 활용도를 높이는 데 초점을 맞춘 것이다.

성능 개선 폭도 확인됐다. 연구팀이 400개 한국 문화유산을 대상으로 자체 구축한 평가셋 ‘H400’으로 시험한 결과 문화유산의 정식 명칭을 정확하게 맞힌 비율이 Qwen3.5 기반 모델은 기존 0.92%에서 38.07%로 높아졌다.

하이퍼클로바X 기반 모델은 5.05%에서 74.16%로 상승했다. 거리 사진 속 한글 간판을 읽어내는 능력도 두 모델 모두 기존보다 5%포인트 이상 개선됐다.

여러 단계의 작업을 연속으로 수행하는 능력도 높였다. 앞선 작업 결과를 바탕으로 다음 행동을 판단하는 장기 작업 수행 능력 평가인 ‘Tau2’에서 두 모델 모두 종합 점수가 약 2%포인트 상승했다.

KETI는 해치를 활용하면 단순한 이미지·텍스트 인식을 넘어 사용자의 요구에 따라 웹과 앱에서 검색하고 예약이나 구매 등을 수행하는 AI 서비스로 확장할 수 있을 것으로 보고 있다.

이번 모델 개발에는 정보통신산업진흥원(NIPA)의 ‘첨단 GPU 활용 지원 사업’을 통해 지원받은 GPU 자원이 활용됐다. 한국 문화유산 데이터셋은 정보통신기획평가원(IITP)이 지원하는 ‘사람중심 인공지능 핵심원천기술 개발 사업’을 통해 구축했다.