GPU 확보 넘어 ‘최적화’로⋯AI 추론 시대의 인프라 경쟁 공식

메모리부터 SW까지…같은 자원으로 효율성 높인다
코어위브 급락이 던진 과제…GPU 확보 넘어 수익성 입증

▲그래픽=손미경 기자 sssmk@

AI 모델이 고도화되고 에이전트가 확산하면서 인프라 경쟁의 기준도 달라지고 있다. 그래픽처리장치(GPU) 확보에 더해 같은 자원으로 더 많은 연산을 처리하는 ‘추론 최적화’가 중요해졌다. 반도체와 소프트웨어, 데이터센터 운영 전반의 효율을 높여 늘어나는 연산 수요를 감당하고 수익성을 높이는 전략이다.

18일 AI 업계에 따르면 여러 단계의 업무를 수행하는 AI 에이전트가 확산하면서 추론 수요가 빠르게 늘고 있다. 추론은 학습한 AI가 새로운 입력을 받아 답을 내놓는 과정이다. 피지컬 AI 확산은 컴퓨팅 수요 증가세를 더욱 가속화할 것으로 예상된다.

안현 SK하이닉스 개발총괄 사장은 최근 “AI 인프라 성능 규모가 오는 2030년에는 올해보다 약 20배까지 커질 것”이라며 AI 추론 시장이 작업의 복잡도, 컨텍스트 길이(한 번에 처리하는 정보량), 추론 요청량 등 세 가지 측면에서 동시에 성장하고 있다고 진단했다.

추론 수요가 급증하면서 이전에 처리한 정보를 저장해 재활용하는 ‘KV 캐시’ 용량도 늘어났다. 데이터를 고대역폭메모리(HBM)와 D램, 솔리드스테이트드라이브(SSD) 등에 분산하는 과정에서 발생하는 데이터 이동이 새로운 성능 병목이 됐다.

안 사장은 개별 메모리의 성능을 높이는 것을 넘어 전체 메모리 계층을 최적화하는 접근이 필요하다고 강조했다. HBM 이후 차세대 AI 메모리 기술로는 ‘3D 스택 D램’을 제시했다. GPU 등 프로세서 위에 D램을 직접 쌓아 데이터 이동 거리를 줄이는 기술이다.

글로벌 빅테크도 추론 최적화로 차별화를 모색하고 있다. 마이크로소프트(MS)는 12일 공개한 자체 AI 가속기 ‘마이아 300’을 2027년부터 실제 서비스에 배치할 계획이라고 밝혔다. MS에 따르면 마이아 300은 주요 GPU 기반 시스템보다 메가와트당 40% 더 많은 토큰을 처리할 수 있다. 긴 문맥 처리와 메모리 집약적 작업 등에 최적화됐다.

▲SK하이닉스 부스에 전시된 고대역폭 플래시 모형. (사진=연합뉴스)

국내 AI 스타트업은 소프트웨어를 앞세워 추론 시장을 공략 중이다. 최근 망고부스트는 서버리스 AI 추론 플랫폼 ‘망고 인퍼런스’를 공개했다. 망고부스트는 AMD GPU에 자체 추론 최적화 소프트웨어 ‘LLM 부스트’를 결합해 최신 엔비디아 GPU의 성능을 구현했다. 스토리지에서 GPU로 데이터가 흐르는 과정을 최적화해 데이터 전송 과정의 병목을 줄이고 추론 성능과 토큰 효율을 높였다.

베슬AI는 엔비디아의 차세대 AI 컴퓨팅 시스템 ‘베라 루빈 NVL72’ 클러스터를 내년 상반기 국내에 도입한다. 베슬AI는 자체 추론 최적화 기술로 GPU의 토큰 처리 효율을 최대 3배까지 끌어올렸다. 여러 데이터센터에 흩어진 GPU를 하나의 컴퓨팅 자원처럼 운영하는 ‘플루이드 컴퓨팅’ 기술이 핵심 경쟁력이다. 고객의 학습·추론 작업에 따라 적합한 컴퓨팅 자원을 배치하는 방식이다.

최근 미국 코어위브의 주가 급락은 GPU 확보량이 수익성을 보장하지는 않는다는 것을 드러냈다. 코어위브는 엔비디아 AI 반도체로 구성된 고성능 컴퓨팅 파워를 AI 기업에 임대하는 네오클라우드 사업을 운영한다. 데이터센터 구축과 반도체 구매에 필요한 자금을 대규모 차입에 의존하면서 재무 건전성 우려가 커졌다.

확보한 GPU를 안정적인 수익으로 연결하는 것이 추론 시대의 핵심 과제로 급부상했다는 지적이 나온다. 자원 활용도를 높여 서비스 원가를 낮추고 고객 수요에 맞춰 투자 속도와 차입 규모를 조절하는 역량이 중요해졌다.

최병호 고려대 휴먼인스파이어드 AI연구원 연구교수는 “한국이 AIDC 경쟁력을 높이기 위해선 물리적 통신 병목을 없애는 초연결 하드웨어 위에서 특정 벤더에 종속되지 않는 개방형 컴파일러로 연산 효율을 극대화해야 한다”고 말했다.