GPU 의존도 낮춘다…KAIST, 생성형 AI 추론 성능 60% 높인 NPU 개발

생성형 인공지능(AI)가 요구하는 막대한 메모리와 연산 성능을 대폭 개선할 수 있는 국산 AI반도체 기술이 등장했다.

KAIST 전산학부 박종세 교수 연구팀과 하이퍼엑셀이 연구 협력을 통해, 챗GPT와 같은 생성형AI 클라우드에 특화된 고성능·저전력의 NPU(신경망처리장치) 핵심기술을 개발했다고 4일 밝혔다.

기존 GPU 대비 전력 소모는 낮추고 생성형 AI 추론 성능은 60% 이상 높인 신경망처리장치(NPU) 핵심 기술 개발에 성공한 것이다.

이번 기술은 컴퓨터 아키텍처 분야 최고 권위의 국제 학회인 ‘2025 국제 컴퓨터구조 심포지엄(ISCA)’에 채택돼 기술적 우수성을 인정받았다.

현재 챗GPT4, 구글의 Gemini 2.5 등 최신 생성형 AI 모델들은 대규모 메모리 대역폭과 용량이 필수다. 마이크로소프트와 구글이 고성능 AI 인프라를 구축하기 위해 엔비디아 GPU를 수십만 장씩 구매하는 이유다. 이번 KAIST 연구는 이 같은 메모리 병목과 비용 부담을 해소할 수 있는 대안으로 평가받는다.

연구팀은 AI 반도체와 시스템 소프트웨어를 통합 설계해 메모리 사용의 대부분을 차지하는 KV 캐시를 양자화하고 적은 수의 NPU만으로도 대규모 AI 인프라를 구축할 수 있도록 했다. 이를 통해 기존 GPU 기반 대비 약 44% 낮은 전력 소모로 평균 60% 이상의 추론 성능 향상을 실현했다.

KV 캐시 양자화는 생성형 AI 모델을 작동할 때 성능을 높이기 위해 사용하는 일종의 임시 저장 공간에 데이터 크기를 줄이는 것을 의미한다.

최신 GPU 대비 비용·전력 효율성이 우수한 NPU 기반 AI 클라우드를 구성할 경우 NPU의 고성능, 저전력 특성을 활용해 운영 비용 역시 크게 절감할 수 있을 것으로 기대된다.

이번 기술은 연산 로직 변경 없이 메모리 인터페이스를 최적화했으며, 제한된 메모리 대역폭과 용량을 효율적으로 활용하기 위한 페이지 단위 관리 기법, 양자화된 KV 캐시에 최적화된 인코딩 기법 등도 새롭게 도입했다.

박종세 교수는 “이 연구는 하이퍼엑셀과의 공동연구를 통해 생성형AI 추론 경량화 알고리즘에서 그 해법을 찾았고 ‘메모리 문제’를 해결할 수 있는 NPU 핵심기술 개발에 성공했다”며 “이 기술을 통해 추론의 정확도를 유지하면서 메모리 요구량을 줄이는 경량화 기법과 이에 최적화된 하드웨어 설계를 결합해 최신 GPU 대비 평균 60% 이상 성능이 향상된 NPU를 구현했다” 고 말했다.

이어 “이 기술은 생성형AI에 특화된 고성능·저전력 인프라 구현 가능성을 입증했으며, AI클라우드 데이터센터뿐 아니라 능동적인 실행형 AI인 ‘에이전틱 AI ’등으로 대표되는 AI 대전환(AX) 환경에서도 핵심 역할이 기대된다”고 강조했다.

KAIST 김민수 박사과정 학생과 하이퍼엑셀 홍성민 박사가 공동 제1 저자로 참여한 이번 연구는 지난 6월 일본 도쿄에서 열린 ISCA 2025에서 발표됐으며 올해 570편 중 127편(채택률 22.7%)만이 선정됐다.

이번 기술을 기반으로 향후 생성형 AI 데이터센터의 구축 비용과 운영비 절감이 기대되며, AI 인프라 자립화의 기반이 될 전망이다.