KT, 500개 모델 연계 '토큰팩토리' 출시…토큰 사용량 25% 절감

▲토큰팩토리 토큰 통합 청구. (사진제공=KT)

KT가 AI 모델 선택, 비용 관리, AI 신뢰·안전 기능을 하나의 플랫폼에서 제공하는 AI 플랫폼 'KT 토큰팩토리'를 공개했다. 글로벌 AI 모델 500개 이상이 연계돼 필요에 맞게 활용 가능하며 자체 기술을 적용해 토큰 사용량도 25% 절감할 수 있다.

KT는 30일 토큰팩토리를 출시하고 고객과 서비스 범위를 단계적으로 확대할 계획이라고 27일 밝혔다. 토큰팩토리는 KT가 통신 사업을 통해 축적한 연결·과금·보호 역량을 AI 서비스에 적용한 플랫폼이다.

국내·외 500개 이상의 AI 모델을 통합 제공하며 가입부터 사용량 확인, 비용 관리, 결제까지 한곳에서 처리한다. 고객은 업무 목적, 비용, 보안 요구 사항에 맞는 최적의 모델을 손쉽게 활용할 수 있다. 출시 초기에는 여러 AI 모델을 활용하면서 비용을 효율적으로 관리하려는 기업 고객을 대상으로 서비스를 제공한다.

단순히 가장 성능이 높은 모델이나 가장 저렴한 모델을 일률적으로 선택하는 대신, 고객이 요구하는 목표 품질을 충족하면서 비용 효율도 높일 수 있도록 KT가 자체 개발한 AI 모델 라우팅 기술인 ‘오토 모델 라우터(Auto Model Router)’가 적용됐다. 해당 기술은 모델 선택 성능을 평가하는 글로벌 벤치마크인 ‘RouterArena’에서 종합 1위를 기록했다.

프롬프트 압축 기술도 고도화했다. 한국어 특성을 고려한 정밀 압축과 불필요한 반복 표현 제거를 통해 질문의 의미와 응답 품질은 유사하게 유지하면서 입력 토큰 수를 줄였다. 처리 효율을 높이면서 비용 부담과 응답 시간을 낮춘 것이다. 이 같은 KT 자체 기술을 통해 AI 이용에 필요한 토큰 사용을 최대 25%까지 절감하는 효과를 제공한다.

토큰팩토리는 해외 AI 서비스 의존에 따른 데이터 주권 우려를 줄이기 위해 한국 내 KT 데이터센터에서 직접 AI 추론 서비스를 제공한다. KT는 국내에서 안전하게 운영되는 소버린 AI 인프라 기반 위에서 KT 자체 모델과 국내외 오픈웨이트 모델, 독자 AI 파운데이션 모델 등 다양한 AI를 안전하게 활용할 수 있도록 멀티 AI 기반을 구축했다.

모델 평가체계와 자체 가드레일(Guardrail) 기술을 적용해 AI 이용 과정의 안전성을 높였다. 고객이 입력하는 프롬프트의 개인정보 및 민감정보와 유해 표현을 점검하는 것은 물론, AI가 생성한 답변도 가드레일로 점검해 보다 안전하게 활용할 수 있도록 지원한다. 특히 한국어 환경에 최적화된 가드레일 기술을 지속 업그레이드해 국내 최고 수준의 경쟁력을 확보하고 있다.

KT가 토큰팩토리 플랫폼에 글로벌 AI 모델 500개 이상을 연계할 수 있었던 이유는 글로벌 AI 게이트웨이 플랫폼이자 AI 모델 마켓플레이스 1위 사업자인 ‘오픈라우터(OpenRouter)’와 국내 최초로 공식 파트너십을 체결했기 때문이다. 이를 통해 자체 추론 모델과 글로벌 AI 모델을 통합 제공하는 국내 최대 규모의 AI 플랫폼을 구축한다.

KT는 오픈라우터를 비롯해 AI 코딩·에이전트 분야에 특화된 유라클과 CAST AI, 기업용 AI 워크스페이스 분야의 타임리 등 국내외 전문기업과 협력을 확대한다. 또한 업스테이지, 다음 등 ‘모두의 AI’ 컨소시엄 참여사들과의 협력을 통해 AI 인프라부터 모델 활용, AI 서비스까지 연결되는 ‘KT 토큰팩토리’ 파트너 생태계를 구축하고 글로벌 시장으로 사업 영역을 확대한다.

박상원 KT AX사업부문장(전무)은 “AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다”며 “KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.