KT, 6000만 접점 ‘모두의 AI’…토큰 팩토리로 GPU 효율 21% 높인다

다양한 서비스에 AI 내재화 ‘이음 인사이드’
NPU 활용 및 추가 GPU로 안정적 서비스 구동

▲이진형 KT AX사업본부장(상무). (사진제공=KT)

KT가 정부에서 지원받는 그래픽처리장치(GPU)의 효율을 21% 가량 높이고 이용자가 몰릴 경우 자체 GPU까지 투입해 ‘모두의 AI’를 운영한다. 6000만 서비스 접점을 통해 대규모 이용자를 확보하는 만큼 AI 추론에 필요한 인프라 부담을 낮춰 서비스 지속 가능성을 높이는 전략이다.

이진형 KT AX사업본부장(상무)은 11일 ‘모두의 AI’ 온라인 설명회에서 “정부로부터 GPU 100장을 지원받는다면 KT 토큰 팩토리는 121장 정도의 효율성이 있다”며 “내부 비용뿐만 아니라 고객도 더 저렴하게 사용할 수 있도록 하는 토큰 팩토리 기술이 ‘모두의 AI’에 들어간다”고 밝혔다.

KT는 과학기술정보통신부가 추진하는 ‘모두의 AI’ 사업을 토큰 팩토리 기반으로 구현할 계획이다. 토큰 팩토리는 사용자가 입력한 프롬프트의 처리(Prefill)와 응답 생성(Decode)을 분리해 각 단계에 최적화된 자원을 할당한다. 처리에는 GPU, 응답 생성에는 국산 AI 반도체를 활용하는 방식이다.

이를 통해 분당 토큰 처리량(TPM)을 약 31% 향상시키고 다양한 프롬프트 압축 기술을 활용해 입력 토큰을 최대 80%까지 줄일 수 있다. KT는 국산 AI 반도체 32장으로 시작하고 성능이 좋아질수록 더 투자할 예정이다.

KT는 정부 지원 GPU만으로 이용량을 감당하기 어려운 상황에도 대비한다. 이 본부장은 “GPU 배정량과 AI 모델·서비스 성능에는 완전한 상관관계가 있다”며 “정부의 지원 변화 등에 대비해 내부적으로 추가 GPU를 준비했다”고 말했다. 정부 지원 GPU에 과부하가 발생하면 KT가 보유한 GPU로 전환하는 ‘폴백’ 구조다.

▲KT 모두의 AI '이음 인사이드' 연동 방식. (사진제공=KT)

업스테이지 ‘솔라’, 모티프테크놀로지스 ‘모티프’, 솔트룩스 ‘루시아’, NC AI ‘바르코’, KT ‘믿음’ 등 다양한 국산 AI 모델과 리벨리온의 신경망처리장치(NPU), 래블업·베슬AI의 AI 인프라 운영 최적화 기술이 토큰 팩토리에서 통합 운영된다. 이를 통해 서비스 특성에 맞는 최적의 AI 모델을 자동으로 연결하고 안정적인 AI 서비스를 제공할 수 있다.

이 본부장은 “추론 능력이 뛰어난 솔라를 주력으로 하되 가공되지 않은 원문 데이터를 입력했을 때는 글로벌 경쟁이 가능한 모티프가 압도적”이라며 “음성은 NC AI, 국산 NPU나 멀티모달이 들어갈 때는 KT 믿음 모델 등으로 최적의 라우팅을 할 것”이라고 설명했다.

KT의 핵심 전략은 ‘이음 인사이드’다. 이음 인사이드는 별도 모두의 AI 앱·웹뿐 아니라 다음·직방 등 이용자가 평소 사용하는 서비스 안에서 AI 에이전트를 호출할 수 있도록 한다. 공공·교육·금융·쇼핑 등 국민이 일상적으로 이용하는 다양한 서비스에 AI를 내재화하고 하나의 범용 AI 에이전트로 연결해 개방형 AI 생태계를 만드는 것이다.

컨소시엄에는 업스테이지, 솔트룩스, 다음, 무신사, 직방, EBS, 매스프레소, BC카드 등 국내 대표 AI·서비스 기업 다수가 참여했다. 참여 기업의 서비스 접점은 합산 6000만 이상이다. 컨소시엄에 참여하지 않은 기업도 신청하면 이음 인사이드를 연동할 수 있다.

KT는 현재 추가 파트너도 확보하고 있다. 이 본부장은 “7개 정도까지 파트너 추가 요청이 와 있는 상태”라며 금융을 비롯해 호텔·음식점 예약 생활 서비스 제공 기업 등과 협의를 진행하고 있다고 밝혔다.