엔비디아, 구글과 협력…AI 모델 '젬마' 최적화

입력 2024-02-23 11:10
  • 가장작게

  • 작게

  • 기본

  • 크게

  • 가장크게

엔비디아가 구글과 협력해 자사의 인공지능(AI) 플랫폼에서 AI 모델 '젬마'(Gemma)를 위한 최적화를 실시했다고 23일 밝혔다.

젬마는 구글의 새로운 경량 오픈 언어 모델이다. 20억(2B) 파라미터와 70억(7B) 파라미터 크기로 제공된다.

젬마는 구글의 멀티모달 모델인 제미나이(Gemini) 개발에 사용된 동일한 연구와 기술을 기반으로 구축됐다. 엔비디아는 구글과 긴밀히 협력해 엔비디아 텐서RT-LLM(TensorRT-LLM)으로 젬마의 성능을 가속화했다. 텐서RT-LLM은 데이터센터, 클라우드 혹은 엔비디아 RTX GPU가 탑재된 PC에서 대규모 언어 모델(LLM) 추론을 최적화하는 오픈 소스 라이브러리이다.

이를 통해 개발자는 전 세계 고성능 AI PC에 탑재된 1억 개 이상의 엔비디아 RTX GPU를 활용할 수 있다.

개발자들은 클라우드 상의 엔비디아 GPU에서도 젬마를 실행할 수 있다. 여기에는 H100 텐서 코어(H100 Tensor Core) GPU를 기반으로 하는 구글 클라우드 A3인스턴스(A3 instances)가 포함된다. 1초당 4.8테라바이트의 141GB HBM3e 메모리를 갖춘 엔비디아 H200 텐서 코어 GPU도 합류할 예정이다. 구글은 올해 안에 이를 배포할 예정이다.

엔비디아는 네모 프레임워크(NeMo Framework)가 적용된 엔비디아 AI 엔터프라이즈(AI Enterprise)와 텐서RT-LLM을 비롯한 광범위한 도구를 갖추고 있다. 엔터프라이즈 개발자들은 이들을 추가로 활용해 젬마를 미세 조정하고 최적화된 모델을 프로덕션 애플리케이션에 배포할 수 있다.

한편 엔비디아 기술 데모인 챗 위드 RTX에 젬마가 추가로 지원될 예정이다. 챗 위드 RTX는 검색 증강 생성(RAG)과 텐서RT-LLM 소프트웨어를 사용해 로컬 RTX 기반 윈도우(Windows) PC에서 사용자에게 생성형 AI 기능을 제공하는 기술이다.

사용자는 챗 위드 RTX를 통해 PC의 로컬 파일을 LLM에 쉽게 연결하고 자신의 데이터로 챗봇을 개인화할 수 있다.

  • 좋아요0
  • 화나요0
  • 슬퍼요0
  • 추가취재 원해요0

주요 뉴스

  • 부담스러운 월세, 정부에서 매달 지원해준다…'청년월세 특별지원' [십분청년백서]
  • "탕탕 후루후루 탕탕탕 후루루루루"…'마라탕후루' 챌린지 인기
  • “뚱뚱하면 빨리 죽어”…각종 질병 원인 되는 ‘비만’
  • "24일 서울역서 칼부림" 협박글에…경찰 추적 중
  • '음주 뺑소니' 김호중 구속될까…오늘 영장실질심사, 정오께 출석
  • 미국 증권위, 비트코인 이어 이더리움 현물 ETF 상장 승인
  • 단독 우리금융, 여성 리더 육성 프로그램 2년 만에 되살린다
  • 지난해 가장 잘 팔린 아이스크림은?…매출액 1위 공개 [그래픽 스토리]
  • 오늘의 상승종목

  • 05.24 13:16 실시간

실시간 암호화폐 시세

  • 종목
  • 현재가(원)
  • 변동률
    • 비트코인
    • 94,553,000
    • -0.98%
    • 이더리움
    • 5,305,000
    • +2.45%
    • 비트코인 캐시
    • 690,000
    • -1.64%
    • 리플
    • 741
    • +1.79%
    • 솔라나
    • 239,200
    • -2.37%
    • 에이다
    • 653
    • -2.1%
    • 이오스
    • 1,162
    • -0.17%
    • 트론
    • 160
    • -3.03%
    • 스텔라루멘
    • 154
    • +0.65%
    • 비트코인에스브이
    • 89,950
    • -1.1%
    • 체인링크
    • 24,390
    • +8.74%
    • 샌드박스
    • 629
    • -0.16%
* 24시간 변동률 기준