'딥페이크 선거영상' 첨단 AI 탐지모델로 잡는다

행안부·국과수, AI 딥페이크 탐지 모델 6월 지방선거 적용

(자료=행정안전부)

6월 제9회 전국동시지방선거에 딥페이크 영상·음성을 걸러내는 최첨단 인공지능(AI) 기술이 투입된다. 조작된 허위 정보 유통에 따른 유권자 판단 왜곡을 막기 위함이다.

행정안전부는 국립과학수사연구원과 함께 개발한 ‘AI 딥페이크 탐지 모델’을 오는 6월 지방선거에 적용할 계획이라고 10일 밝혔다.

중앙선거관리위원회에 따르면, 선거 기간 딥페이크 영상 삭제 요청은 2024년 국회의원 총선거 당시 388건 수준이었으나 1년 후 대통령 선거에서 1만510건으로 폭증했다. 윤호중 행안부 장관은 이날 시연회에서 “이제 딥페이크는 단순한 기술 문제가 아니라 민주주의를 위협하는 새로운 정보 범죄가 되고 있다”고 지적했다.

이번에 도입되는 탐지 모델은 지난해 12월 총 268개 팀이 참여한 경진대회 성과를 바탕으로 개발됐다. 단일 모델 기준 92%의 높은 탐지율을 확보했다. 새로운 모델은 영상의 전체적인 흐름을 분석하는 ‘전역 분석’과 얼굴 등 특정 부위의 미세한 조작 흔적을 판별하는 ‘국소 분석’을 동시에 진행해 단순한 얼굴 합성(페이스 스와프)을 넘어 최근 수사기관조차 추적에 어려움을 겪는 고도화한 ‘생성형 AI’ 기반 영상까지 정밀하게 잡아낼 수 있다.

박남인 국과수 연구관은 “기존에 있던 딥페이크 모델은 얼굴 위주로만 탐지해 얼굴 영역이 아닌 경우에는 탐지를 전혀 하지 못했는데, 개발 모델은 얼굴이 아닌 영역에서도 충분히 탐지가 가능하다”고 설명했다. 이어 “단일 모델로는 기존 76%에서 92%로 성능이 향상됐는데, 우리 판단 모델은 다수결 투표로 방식이 바뀌었다. 그렇게 되면 앙상블 효과가 있기 때문에 지금 우리가 측정한 바로는 97%까지 성능 향상이 되고 있다”고 강조했다.

행안부와 국과수는 최종 선정된 우수 모델을 선관위에 제공한다. 선관위는 의심 영상 발견 시 즉각적인 확인과 조치에 나설 예정이다. 조봉기 선관위 조사국장은 “선거일 전 90일부터 선거일까지 선거운동 목적의 딥페이크 영상을 제작·유포하게 되면 법률에 따라 7년 이하 징역 또는 1000만원 이상 5000만원 이하의 벌금형에 처해진다”고 경고했다.

다만, 육안으로 보아도 명백히 가상임을 알 수 있는 풍자나 만화·캐릭터 형태의 콘텐츠는 제재 대상에서 제외해 표현의 자유를 보장한다.

정부는 선거 대응뿐 아니라 경찰청, 방송통신위원회 등과 협력해 해당 기술을 일반 디지털 범죄 수사에도 적극적으로 활용할 방침이다.

윤 장관은 “인공지능은 민주주의를 위협하는 창이 아니라 민주주의를 지키는 방패가 돼야 합니다”라며 “행안부는 인공지능을 활용해 국민 보호와 공정한 사회를 구현하는 AI 민주정부를 반드시 만들어내겠다”고 강조했다.