연세대, GPT 대체할 ‘디퓨전 언어모델’ 연구…국내 최초 뉴립스 등재

▲(왼쪽부터) 연세대 인공지능학과 서영빈 연구원, 여진영 교수, 김재형 교수, 이동하 교수. (사진=연세대)

연세대학교는 인공지능융합대학 서영빈 연구원이 제1저자로 제출한 논문이 세계 최고 권위의 머신러닝 학회인 뉴립스(NeurIPS)에서 스포트라이트(Spotlight) 등급으로 채택됐다고 25일 밝혔다.

스포트라이트는 전체 제출작 가운데 상위 약 3%만 받는 등급이다. 이번 성과는 국내 연구기관이 주도한 디퓨전 언어모델 연구가 국제적으로 검증받은 최초의 사례라는 점에서 의미가 크다.

이번 논문은 이미지 생성 분야에서 주목받은 디퓨전 패러다임을 언어 생성에 적용한 것이다. 오픈AI의 챗GPT 같은 자가회귀 언어모델이 1000단어를 생성하려면 1000단계가 필요하지만, 디퓨전 언어모델은 약 100단계 만에 결과를 도출한다.

연구팀은 “사람 머릿속에서 생각이 한 번에 ‘반짝’ 떠오르는 것과 유사한 방식으로 빠르고 유창한 생성이 가능하다”고 설명했다.

연구진은 디퓨전 언어모델의 한계인 불안정성을 줄이는 방법론도 제시했다. 디퓨전 언어모델은 한 번에 여러 단어를 생성할 수 있는 장점이 있지만, 긴 글에서는 문법 오류나 문맥의 불연속성이 발생하기 쉽다. 이를 해결하기 위해 컨볼루션 디코딩과 R2FT라는 두 가지 기법을 도입했으며, 그 결과 기존 언어모델보다 3배 이상 빠른 속도를 내면서도 문법적 안정성과 질문 응답 성능을 유지했다.

서 연구원은 “디퓨전 언어모델의 장점인 빠른 속도와 양방향 주의는 강화학습에서도 중요한 특성”며 “이러한 장점 덕분에 기존 자가회귀 패러다임을 대체할 가능성이 있다고 보고 연구를 시작했다”고 말했다.

이번 연구는 여진영·김재형·이동하 연세대 인공지능학과 교수와의 협력으로 진행됐다. 여 교수는 “이번 성과는 기존 언어모델을 대체할 수 있는 핵심 기술로서 디퓨전 언어모델의 잠재력을 한 단계 끌어올렸다”며 “생성 속도를 비약적으로 끌어올릴 수 있는 디퓨전 언어모델은 산업적으로 잠재성이 높다”고 말했다.

연구팀은 코드와 구현을 공개해 재현성과 실용성을 높였다. 뉴립스는 12월 2일부터 7일까지 미국 샌디에이고 컨벤션센터에서 열린다.