숭실대 AI안전성연구센터, ‘립싱크 딥페이크’ 차단 기술 개발

중앙대와 공동연구⋯AI 학술대회 ‘NeurIPS 2026’ 채택

▲숭실대 AI안전성연구센터 최대선 교수 연구팀이 중앙대학교 권준석 교수 연구팀과 공동으로 음성 보호 기술 ‘MUTE(뮤트)’를 개발했다. (사진=숭실대)

숭실대학교 연구팀이 개인의 목소리를 도용해 실제로 말하는 것처럼 꾸미는 ‘립싱크 딥페이크’ 제작을 방해하는 기술을 개발했다.

숭실대는 AI안전성연구센터 최대선 교수 연구팀이 중앙대학교 권준석 교수 연구팀과 공동으로 음성 보호 기술 ‘뮤트(MUTE)’를 개발했다고 20일 밝혔다. 이번 연구 성과는 세계적 인공지능(AI) 학술대회인 ‘NeurIPS 2026’에 채택됐다.

립싱크 딥페이크는 AI를 활용해 특정 인물의 입 모양을 음성에 맞춰 조작하는 기술이다. 최근에는 사진 한 장과 짧은 음성만으로도 실제 인물이 말하는 듯한 영상을 제작할 수 있어 가짜 광고나 허위 정보 유포 등에 악용될 우려가 커지고 있다.

연구팀이 개발한 뮤트는 영상이나 녹음 파일을 온라인에 공개하기 전 음성에 사람이 거의 인식하지 못하는 미세한 보호 신호를 삽입하는 기술이다. 원래 목소리의 자연스러움은 유지하면서 AI가 해당 음성을 이용해 가짜 영상을 제작할 때 입술 움직임과 소리가 일치하지 않도록 방해한다.

연구팀에 따르면 뮤트를 적용한 음성으로 딥페이크 영상을 제작하면 입 모양과 소리가 어긋나 조작 여부를 쉽게 알아차릴 수 있다. 연구팀은 5종의 AI 영상 생성 모델을 대상으로 실험한 결과 립싱크 정확도가 평균 47.5% 낮아지는 것을 확인했다. 음성의 잡음을 제거하는 등 정제 과정을 거친 뒤에도 보호 효과가 유지됐다.

연구팀은 음성 보호 처리만으로 립싱크 딥페이크의 입 모양과 소리의 일치를 무너뜨린 기술은 세계 최초라고 설명했다.

이번 연구는 개인정보보호위원회와 한국인터넷진흥원(KISA)이 지원하는 '딥페이크 억제 기술 개발' 연구개발(R&D) 과제의 일환으로 수행됐다. 숭실대 연구팀은 2028년까지 음성 보호 기술에 이어 이미지·영상 보호 기술을 개발해 딥페이크 악용을 사전에 차단하는 기술을 고도화할 계획이다.

최대선 교수는 “AI 기술이 발전하면서 딥페이크 악용도 사진이나 목소리의 위조를 넘어, 음성을 바탕으로 실제 인물이 말하는 듯한 정교한 가짜 영상을 만드는 수준으로 진화하고 있다”며 “이번 성과는 개인정보 보호 기술이 갈수록 정교해지는 딥페이크 위협에 맞설 수 있음을 보여준다는 점에서 의미가 크다”고 말했다.

한편 이번 공동연구에는 숭실대 최대선 교수와 김동현 박사과정, 김승민 석사과정, 김다인 학사과정, 중앙대 권준석 교수와 홍진 박사과정이 참여했다. 연구 논문은 12월 호주 시드니 등에서 열리는 NeurIPS 2026에서 발표될 예정이다.