통신 넘어 AI 사용량 과금으로…KT, ‘토큰팩토리’ 30일 출시

출시일 73종 제공, 오픈라우터 연계로 500종 추가
토큰 사용량 25% 절감 효과

▲27일 KT 웨스트사옥에서 열린 기자간담회에서 이진형 AX사업본부장이 기자들의 질문에 답하고 있다. 이 본부장 왼쪽은 김준석 에이전틱 AI랩장, 오른쪽은 원만호 AX플랫폼본부장. 김연진 기자 yeonjin@

KT가 통신사업에서 축적한 연결·과금 역량을 AI 사업으로 확장한다. 다양한 AI 모델을 연결하고 사용량에 따라 요금을 받는 ‘KT 토큰팩토리’를 출시한다. 내년 3월에는 개인 개발자 대상으로 서비스를 확대할 예정이다.

27일 박상원 AX사업부문장은 서울 종로구 광화문 웨스트 사옥에서 기자간담회를 열고 “AI를 잘 쓰기 위해선 실행, 효율, 신뢰 세 가지 요건이 충족돼야 한다”며 30일 출시 예정인 ‘KT 토큰팩토리’를 공개했다. 출시 초기에는 AI 모델 73종을 제공하고 오픈라우터를 통해 500개 이상을 추가로 연계한다.

토큰팩토리는 하나의 응용프로그램 인터페이스(API)로 여러 AI 모델을 이용하는 플랫폼이다. 기업은 모델마다 따로 가입하거나 결제할 필요 없이 사용량과 비용을 한곳에서 관리할 수 있다.

플랫폼에는 자체 개발한 ‘오토 모델 라우터’를 적용했다. 업무 난이도와 요구 품질, 비용 등을 고려해 적합한 AI 모델을 자동 선택하는 기술이다. 단순한 작업에 비싼 고성능 모델을 쓰는 낭비를 줄일 수 있다. 해당 기술은 모델 선택 성능을 평가하는 글로벌 벤치마크인 ‘RouterArena’에서 종합 1위를 기록했다.

질문에서 불필요한 표현을 덜어내는 프롬프트 압축 기술도 적용했다. KT는 자체 기술을 적용해 토큰 사용량을 최대 25%까지 절감할 수 있다고 설명했다. 김준석 AI 에이전틱랩장은 “프롬프트 압축 기술로 입력 토큰 수를 줄여서 20%를 절감하고 문제를 해결할 수 있는 모델 중 가장 저렴한 모델을 라우팅해 5% 정도를 낮출 수 있다”고 말했다.

▲27일 KT 웨스트사옥에서 열린 기자간담회에서 박상원 AX사업부문장이 발표하고 있다. 김연진 기자 yeonjin@

해당 플랫폼을 활용해 로또 번호 분석 프로그램을 만드는 시연도 이뤄졌다. 작업이 진행되는 동안 토큰 사용량과 비용이 올라가는 모습을 실시간으로 확인할 수 있었다. 이진형 AX사업본부장은 “앱을 만들기 위해 3600만 토큰을 썼는데 15달러 정도의 비용이 발생했다”고 설명했다.

그러면서 이 본부장은 “30일 출시되는 플랫폼에선 AI 모델 73종을 제공한다”며 “ 업스테이지·모티프·KT 모델 등 국내 모델과 문샷AI·구글·Z.AI·엔비디아 등 해외 모델 총 7종은 국내 리전에서 직접 운영한다”고 밝혔다. 오픈웨이트 모델을 가져다 쓰는 게 아니라 KT가 기업들과 별도 계약을 맺어서 제공하는 방식이다.

다만 오픈라우터를 통해 연계되는 글로벌 모델은 해외 서버에서 추론이 이뤄질 가능성이 높다. KT는 이용자에게 모델별 제공 사업자와 운영 지역 정보를 공개할 방침이다.

요금제는 사용량에 따라 정산하는 ‘스탠다드’와 이용 규모·기간 약정에 따라 할인하는 ‘엔터프라이즈’로 나뉜다. 스탠다드는 후불 정산과 선불 충전을 지원한다. 기업은 통신요금과 함께 토큰 이용료를 통합 청구받을 수 있다. 내년 3월에는 개인·개발자로 적용 대상을 넓히고 구독형 요금제도 선보일 계획이다.

11월에는 오픈라우터와 연계해 글로벌 모델 500개 이상을 추가로 제공한다. AI 모델 마켓플레이스 1위 사업자인 오픈라우터와 국내 최초로 공식 파트너십을 맺은 덕분이다. 국내에서 운영하는 모델을 오픈라우터를 통해 해외에 판매하는 방안도 추진한다.

다양한 AI 모델을 안전하게 이용할 수 있도록 고객이 입력하는 프롬프트의 개인정보, 민감정보, 유해 표현과 AI가 생성한 답변을 점검하는 가드레일을 제공한다. 데이터 주권과 신뢰를 기반으로 최신 AI를 자유롭게 활용할 수 있는 AI 환경을 구현해 기업 AX 전환을 가속한다는 전략이다.