망고부스트, ‘AI 팩토리’ 사업 본격화…AI 추론 플랫폼 ‘망고 인퍼런스’ 공개

1MW AIDC 구축…내년 5MW 확장 예정
구축 중인 AIDC, AMD GPU 수백 장 확보

▲12일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 김장우 망고부스트 대표가 기자간담회를 진행하고 있다. 김연진 기자 yeonjin@

풀스택 AI 인프라 기업 망고부스트가 자체 개발한 하드웨어와 소프트웨어를 결합해 AI 추론 서비스를 제공하는 ‘AI 팩토리 기업’으로 도약한다. ‘망고 인퍼런스’라는 서버리스 AI 추론 플랫폼을 출시한 망고부스트는 내년 서울에 1메가와트(MW) 규모의 AI 데이터센터(AIDC)를 구축한다.

망고부스트는 12일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 기자간담회를 열고 서버리스 AI 추론 플랫폼 ‘망고 인퍼런스(Mango Inference)’를 공개했다. 망고 인퍼런스는 망고부스트의 풀스택 AI 인프라를 기반으로 제공되는 추론 서비스다.

김장우 망고부스트 대표는 “하드웨어부터 소프트웨어까지 직접 설계한 풀스택 기술력으로 AI 추론 비용을 낮추겠다”며 “AMD 그래픽처리장치(GPU)에 망고부스트 네트워크·스토리지 기술을 결합하면 최신 엔비디아 GPU 성능을 구현할 수 있다”고 말했다.

망고 인퍼런스 주요 고객은 자체 서비스에 AI 기능을 도입하려는 개발자와 스타트업, 시스템통합(SI) 기업이다. 이용자는 API 키 하나로 오픈웨이트 모델을 불러와 AI 추론을 시작할 수 있다. 복잡한 인프라 구축이나 구성 없이도 AI 모델을 간편하게 이용할 수 있는 것이다. 보안 API 키 관리, 추론 사용량·상태 확인, 요청·트래픽·지연·토큰 분석, 결제 내역 조회 등도 확인이 가능하다.

권동업 최고기술책임자(CTO)는 “망고 인퍼런스는 오픈웨이트 모델을 망고부스트 인프라에 탑재해 API 형태로 제공한다”며 “주요 고성능 추론 서비스 사업자와 비교할 때 AMD 기반이기 때문에 가격이 최소 20% 이상 저렴하게 책정됐다”고 설명했다.

서비스 경쟁력은 추론 성능을 극대화하는 AI 최적화 소프트웨어 ‘LLM 부스트’에 있다. GPU 위에서만 동작하는 기존 소프트웨어와 달리 스토리지에서 GPU로 데이터가 흐르는 인퍼런스 서빙 전 구간을 최적화했다. 이를 통해 데이터 전송 과정의 병목을 줄이고 추론 성능과 토큰 효율을 높였다.

망고부스트는 서비스 확대를 위한 인프라도 준비 중이다. 서울 강남구 도산공원 인근에 기존 데이터센터의 공간과 설비를 이용하는 코로케이션 방식으로 1MW 규모의 AIDC를 구축 중이다. AMD GPU 수백 장을 이미 들여왔다. 내년 데이터센터 규모를 5MW로 확대하는 데 이어 이후 글로벌로 500MW까지 구축하는 로드맵을 구상 중이다.

김 대표는 “망고부스트는 네오클라우드 회사가 아니라 전세계에서 유일하게 하드웨어까지 독자 설계해서 가져오는 ‘AI 팩토리’ 회사”라며 “강남에 구축 중인 1MW의 AIDC는 내년 1분기에 완성될 예정”이라고 밝혔다.

망고 인퍼런스의 유료 서비스는 이날부터 시작됐다. 다음 달 11일까지 신규 이용자를 대상으로 무료 크레딧과 최신 AI 모델 할인 혜택을 제공한다. 2022년 서울대학교 연구진을 중심으로 설립된 망고부스트는 DPU 하드웨어, AI 추론 소프트웨어, AI 서버·스토리지 시스템을 모두 보유하고 있다.