구글 최신 AI언어모델 ‘팜2’, 이전보다 5배 많은 데이터 학습

입력 2023-05-17 16:06

  • 가장작게

  • 작게

  • 기본

  • 크게

  • 가장크게

팜2, 10일 공개 챗봇 ‘바드(Bard)’에 탑재
3.6조 개 토큰으로 학습...기존 LLM보다 월등

▲순다르 피차이 구글 최고경영자(CEO)가 10일(현지시간) 미국 캘리포니아주 마운틴뷰에서 열린 구글 I/O 행사에서 연설하고 있다. 마운틴뷰(미국)/AP뉴시스
▲순다르 피차이 구글 최고경영자(CEO)가 10일(현지시간) 미국 캘리포니아주 마운틴뷰에서 열린 구글 I/O 행사에서 연설하고 있다. 마운틴뷰(미국)/AP뉴시스
구글이 최근 공개한 대규모 언어 모델(LLM)이 이전 버전보다 5배 많은 데이터를 학습에 사용한다고 미국 CNBC방송이 16일(현지시간) 보도했다.

구글은 10일 연례개발자회의(I/O)에서 인공지능 챗봇 ‘바드(Bard)’를 공개했다. 바드에는 구글의 최신 대규모 언어 모델(LLM) 팜2(PaLM)가 탑재됐다. 팜2는 지난해 4월 선보인 팜의 업그레이드 버전으로 100개 이상의 언어를 지원한다.

CNBC는 입수한 구글 내부 문서를 인용하며 “팜2가 3조6000억 개의 토큰으로 학습된다”고 전했다. 토큰은 AI가 인식하는 단어의 문자열로, LLM이 다음에 나타날 단어를 예측하도록 학습시키는 요소다. 지난해 출시된 이전 버전 팜은 7800억 개의 토큰으로 학습됐다.

팜2의 학습량은 기존 출시된 LLM보다 월등하다. 페이스북이 2월에 발표한 라마(LLaMA)는 1조4000억 개의 토큰으로 학습됐다. 오픈AI가 마지막으로 챗GPT의 학습 규모를 공개한 것은 GPT-3로 당시 회사는 3000억 개의 토큰으로 학습했다고 밝혔다. 구글이 2년 전 발표한 LLM인 람다(LaMDA)가 학습한 토큰은 1조5000억 개다.

구글은 팜2에 대해 “컴퓨트 최적 스케일링(compute-optimal scaling)이라는 새로운 기술을 사용했다”며 이를 통해 “더 빠른 추론, 더 적은 수의 매개변수 제공, 더 낮은 제공 비용 등 전반적으로 더 나은 성능으로 LLM의 효율성을 높일 수 있다”고 설명했다.

최근 구글, 오픈AI를 비롯한 글로벌 IT 기업은 자사 LLM의 세부 정보 공개를 꺼리는 분위기다. 두 회사 관계자는 CNBC에 “공개하지 않는 이유는 경쟁이 치열한 비즈니스 특성 때문”이라고 전했다.

  • 좋아요0
  • 화나요0
  • 슬퍼요0
  • 추가취재 원해요0

주요 뉴스

  • 또 '검은 금요일'…코스피 5.2% 폭락, 9개월만에 4800선 주저앉았다
  • 13년 만에 통한 ‘어른 여자’…베스티가 소환한 그 시절 K팝
  • '얼죽코'도, '패딩파'도 주목!⋯올겨울 아우터가 달라졌다 [솔드아웃]
  • 2월엔 '자산 늘리기', 10월엔 '돈 지키기'…8개월 만에 바뀐 재테크 1순위 [데이터클립]
  • 테슬라 FSD 국내 도입 제동…국토부 “안전성 검증 자료 부족”
  • 李대통령 “국가시험, 전면 개편… 수능 부정행위 일벌백계”
  • “제2의 메세나폴리스 될까”⋯서대문역 품은 ‘경희궁 에피트’ [집스포]
  • 與, ‘조희대 탄핵 추진’ 당론 채택…“연내 발의”
  • 오늘의 상승종목

  • 11.20 장종료

실시간 암호화폐 시세

  • 종목
  • 현재가(원)
  • 변동률
    • 비트코인
    • 82,877,000
    • +2.75%
    • 이더리움
    • 2,313,000
    • +4.33%
    • 비트코인 캐시
    • 273,600
    • +5.19%
    • 리플
    • 1,278
    • +4.5%
    • 솔라나
    • 96,750
    • +4.03%
    • 에이다
    • 199
    • +3.65%
    • 트론
    • 419
    • +0.96%
    • 스텔라루멘
    • 177
    • +2.31%
    • 비트코인에스브이
    • 19,110
    • +0.1%
    • 체인링크
    • 11,830
    • +3.23%
    • 샌드박스
    • 45.47
    • +1.27%
* 24시간 변동률 기준

Web3 레이더

  • 주목 펀딩
    • 1 Venice Series A $65M
    • 2 Variational Series A $50M
    • 3 Kalshi $1B
    • 4 World OTC $52.5M
  • 인기 프로젝트
    • 1 Evaa Protocol 인기지수 305
    • 2 LayerAI Infra 인기지수 302
    • 3 Robinhood CeFi 인기지수 253
    • 4 TransCrypts Tools 인기지수 249
  • 토큰 언락 임박
    • HumidiFi 유통량 113% D-17
    • DAOBase 유통량 43% D-26
    • FLock 유통량 41% D-8
    • RateX 유통량 37% D-27
Source from