알리바바 “검색 엔진 이용 않는 AI 훈련법 개발...‘제로서치’”

구글 검색엔진 활용하는 것보다 비용 88% 절감

▲알리바바 로고. 출처 알리바바그룹

중국 알리바바가 외부 검색엔진을 이용하지 않는 인공지능(AI) 모델 훈련 방법을 개발했다고 12일(현지시간) 홍콩 사우스차이나모닝포스트(SCMP)가 알리바바 연구진의 최신 논문을 인용해 보도했다.

알리바바 연구진은 논문을 통해 검색엔진을 이용하지 않고 AI 모델의 대규모언어모델(LLM) 추론과 생성 기능을 향상하는 ‘제로서치(ZeroSearch)’ AI 모델 훈련법을 통해 훈련비용을 약 90%까지 줄일 수 있다고 밝혔다.

제로 서치는 시뮬레이션을 통해 AI 모델의 검색 기능을 향상시키는 방법을 사용한다. 이용자의 질문을 외부 검색엔진으로 보내 정보를 찾아오는 과정을 생략할 수 있다는 의미다.

대신 잘 훈련된 AI 모델을 마치 훈련용 검색 엔진처럼 사용한다. 책이나 논문, 위키피디아 등을 통해 방대한 지식을 잘 학습하고 이용자의 질문에 자체적으로 답을 생성하는 하나의 모범 AI 모델로 다른 AI 모델을 훈련시키는 방법이다.

AI 모델 LLM을 간단한 ‘지도미세조정(supervised fine-tuning)’을 통해 검색 모듈로 변환하고 이용자의 질문에 대한 응답으로 관련 있는 문서와 노이즈 문서를 모두 생성하도록 하는데, 강화학습 시에는 전략적으로 문서의 품질을 낮추고 더 까다로운 검색 시나리오에 노출해 추론 능력을 향상시키는 것으로 알려졌다.

제로서치 방식의 가장 큰 효율은 비용 절감에서 달성된다. 논문에 따르면 구글 응용 프로그램 인터페이스(API)를 활용해 6만4000건의 질의를 처리하려면 586.70달러(약 82만3609원)의 비용이 들지만, 엔비디아의 14B 모델로 훈련하는 비용은 70.8달러로 88%의 비용 절감 효과가 있다.

제로서치 방식이 발전할수록 비싼 API 비용을 줄이면서도 AI 모델을 발전시킬 수 있게 돼 자본이 적은 기업의 부담을 덜어줄 것으로 예상된다.

제로서치의 알리바바는 9일 자사 AI 앱 ‘쿼크’의 향상된 AI 검색 기능을 공개했는데, 쿼크는 알리바바의 AI 모델 큐원의 추론 능력을 온라인 검색과 통합해 복잡한 질문에 정확한 응답을 제공한다.