엔비디아, 구글 딥마인드와 협력… 거대 언어 모델 혁신 추진

엔비디아는 최근 열린 구글 연례 개발자 콘퍼런스인 ‘구글 I/O 2024’에서 세 가지 새로운 협업 내용을 발표했다고 17일 밝혔다.

이번 협업으로 엔비디아와 구글은 세계적 수준의 성능을 갖춘 AI 기반 애플리케이션을 더 쉽게 만들 수 있도록 개발자를 지원할 예정이다.

텍스트, 이미지, 사운드와 같은 여러 유형의 데이터를 처리하는 모델이 점점 더 보편화되면서 생성형 AI를 구동하는 거대 언어 모델(large language model, LLM)에 대한 혁신이 가속화되고 있다.

그러나 이러한 모델을 구축하고 배포하는 것은 여전히 어려운 과제다. 개발자는 모델을 빠르게 경험하고 평가해 사용 사례에 가장 적합한 모델을 결정한 다음, 비용 효율적일 뿐만 아니라 최상의 성능을 제공하는 방식으로 모델을 최적화할 수 있는 방법이 필요하다.

엔비디아는 이번 행사에서 구글이 선보인 두 가지 새로운 모델인 젬마 2(Gemma 2)와 팔리젬마(PaliGemma)를 최적화하기 위해 텐서RT-LLM(TensorRT-LLM)을 사용하고 있다. 이 두 모델들은 모두 제미나이(Gemini)를 만드는 데 사용된 동일한 연구와 기술을 기반으로 구축됐으며, 각각 특정 영역에 중점을 둔다.

젬마 2는 광범위한 사용 사례를 위한 차세대 젬마 모델로, 획기적인 성능과 효율성을 위해 설계된 완전히 새로운 아키텍처가 특징이다.

팔리젬마는 PaLI-3에서 영감을 받은 개방형 시각 언어 모델(VLM, vision language model)이다. 이는 SigLIP 시각 모델과 젬마 언어 모델을 포함한 개방형 구성 요소를 기반으로 구축됐으며, 이미지, 짧은 비디오 캡션, 시각적 이미지 질의응답, 이미지 내 텍스트 이해, 객체 감지나 분할과 같은 시각 언어 작업을 위해 설계됐다. 팔리젬마는 광범위한 시각 언어 작업에서 최고 수준의 미세 조정 성능을 탑재했고 엔비디아 JAX-툴박스(JAX-Toolbox)에서도 지원된다.

젬마 2와 팔리젬마는 대규모 AI 모델 배포를 간소화하는 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼의 일부인 엔비디아 NIM 추론 마이크로서비스와 함께 제공될 예정이다. 새로운 두 모델에 대한 NIM 지원은 팔리젬마를 시작으로 API 카탈로그에서 사용할 수 있으며, 곧 엔비디아 NGC와 깃허브(GitHub)에서 컨테이너로 출시될 예정이다.

구글은 데이터 과학자에게 가장 인기 있는 개발자 플랫폼 중 하나인 구글 코랩(Colab)에서 오픈 소스 GPU 데이터 프레임 라이브러리인 래피즈 cuDF(RAPIDS cuDF)가 기본으로 지원된다고 발표했다. 매월 천만 명에 달하는 구글 코랩의 월간 사용자들은 이제 코드 변경 없이 단 몇 초 만에 엔비디아 L4 텐서 코어(Tensor Core) GPU를 사용해 판다스(pandas) 기반 파이썬(Python) 워크플로우를 최대 50배까지 가속화할 수 있다.

엔비디아와 구글은 엔비디아 RTX 그래픽을 사용해 AI PC를 활용하는 파이어베이스 젠킷(Firebase Genkit)에 대한 협업도 발표했다. 이는 개발자가 새로운 젬마 모델 제품군을 비롯한 생성형 AI 모델을 웹과 모바일 애플리케이션에 쉽게 통합해 맞춤형 콘텐츠, 시맨틱 검색(semantic search), 문의에 대한 답변을 제공할 수 있도록 지원한다.