KT ‘AI 모델 길잡이’ 기술, 글로벌 벤치마크 종합 2위

‘RouterArena’ 정확도·비용 평가 2위
업무 따라 최적 AI 자동 선택…토큰 비용 절감

▲LLM 라우터 전문 공개 벤치마크 ‘RouterArena’ 리더보드에서 KT의 ‘KT-ModelRouter’가 Acc-Cost Arena 기준 2위를 기록한 화면 (사진=KT)

KT가 자체 개발한 AI 모델 라우팅 기술 ‘AutoModelRouter(오토모델라우터)’가 글로벌 공개 벤치마크에서 종합 2위를 기록했다.

KT는 AutoModelRouter가 거대언어모델(LLM) 라우터 전문 공개 벤치마크 ‘RouterArena(라우터 아레나)’의 정확도와 비용을 함께 평가하는 ‘Acc-Cost Arena’ 부문에서 2위에 올랐다고 27일 밝혔다.

RouterArena는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼이다. 관련 연구는 머신러닝 분야 국제학회 ICLR 2026 정식 논문으로 채택됐다. 약 8400개 질의를 활용해 AI 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 견고성 등을 종합적으로 평가한다.

AutoModelRouter는 공개 리더보드에 ‘KT-ModelRouter’라는 이름으로 등재됐다. 해당 리더보드에는 학계에서 개발한 라우터뿐 아니라 마이크로소프트의 ‘Azure Model Router’ 등 상용 기술도 포함돼 있다.

AI 모델은 번역과 요약, 코딩, 추론 등 분야별로 강점과 성능, 이용 비용이 다르다. 모든 업무를 하나의 AI 모델로 처리하는 대신 업무 특성과 요구 수준에 맞는 모델을 골라 사용하는 기술의 중요성이 커지는 이유다.

AI 경쟁의 무게중심도 단일 모델의 성능을 넘어 여러 모델을 효율적으로 조합하는 ‘오케스트레이션’ 영역으로 넓어지고 있다.

AutoModelRouter는 이용자의 요청을 분석해 여러 AI 모델 가운데 적합한 모델을 자동으로 선택한다. 업무 유형과 난이도, 지식 분야를 분석한 뒤 각 모델의 응답 품질과 이용 비용 등을 고려해 요청을 처리할 모델을 연결하는 방식이다.

예컨대 간단한 번역이나 정보 확인에는 요구 품질을 충족하는 비용 효율적인 모델을 사용하고, 전문적인 분석이나 높은 수준의 추론이 필요한 작업에는 고성능 모델을 연결한다. 기업 입장에서는 업무마다 여러 AI 모델을 직접 비교하고 선택해야 하는 부담을 줄일 수 있다.

이 기술은 KT가 추진하는 ‘Token Factory(토큰 팩토리)’의 모델 라우팅 기능에도 활용된다. Token Factory에서 다양한 AI 모델과 토큰 이용 환경을 통합 운영할 때 이용자의 요청에 맞는 모델을 자동으로 선택해 서비스 품질과 토큰 사용 비용을 함께 최적화하는 역할을 한다.

KT는 향후 AutoModelRouter를 고도화하고 새로운 AI 모델을 유연하게 추가할 수 있는 멀티모델 운영 환경을 구축해 기업 고객의 AI 도입과 인공지능 전환(AX)을 지원할 계획이다.