서울시, "AI로 온라인 성범죄 영상 검출부터 자동신고까지 단 '6분'"

▲AI삭제과정. 이미지제공-서울시

서울시가 온라인상에 유포된 디지털 성범죄 영상 검출부터 자동 삭제 신고까지 지원하는 ‘AI 자동 삭제신고 시스템’을 최초로 개발해 실행에 들어간다고 21일 밝혔다.

서울시는 2023년 3월 서울연구원과 협력, 전국 최초로 ‘디지털 성범죄 AI 삭제지원 기술’을 개발했다. 서울 디지털성범죄 안심지원센터에서 이를 활용해 24시간 불법 영상물 감시 및 삭제지원을 하고 있다.

이제 AI를 활용해 성범죄 영상을 검출, 자동 삭제 신고까지 할 수 있게 됐다. ‘AI 자동 삭제신고 시스템’은 AI가 24시간 피해 영상물을 상시 검출한 뒤, 영상물을 자동으로 채증해 보고서를 만든 후 해당 사이트에 삭제 요청하는 이메일을 자동 생성한다. 이렇게 완성된 신고 이메일은 삭제지원관이 최종 확인해 발송하게 된다.

온라인에 떠도는 불법 영상물을 찾아내 해당 사이트에 삭제 신고 하는 데까지 드는 시간이 기존 약 2시간 반~3시간에서 ‘6분’으로 단축된다.

기존에는 삭제지원관이 수작업으로 피해 영상물을 채증하고, 보고서를 작성해야 했기 때문에 많은 시간이 소요됐다. 이제 처리 속도를 30배 개선할 수 있게 됐다.

특히 최근에 피해 영상물이 해외에 서버를 둔 사이트에 올라오는 사례가 증가함에 따라 AI가 해외에 유포된 피해 영상물을 검색 후 영어, 중국어, 일본어, 러시아어 등 7개 국어로 신고 이메일을 생성하게 된다.

한편, 서울시는 2023년 ‘디지털 성범죄 AI 삭제지원 기술’을 전국 최초로 개발ㆍ도입해 디지털 성범죄 예방과 피해자 지원에 있어 패러다임의 전환을 이뤄냈다는 평가를 받고 있다.

서울 디지털 성범죄 안심지원센터의 삭제지원 건수도 AI 도입 전 2022년 2509건에서 지난해 총 1만4256건으로 무려 468% 상승했다.

김선순 서울시 여성가족실장은 “우리 사회를 충격에 빠트린 n번방 사건부터 지난해 딥페이크 성범죄 사건까지 디지털 성범죄 기술은 갈수록 고도화되고 범죄 피해도 심각하다”며 “서울시는 전국 최초로 AI를 통한 모니터링 기술을 도입한 데 이어서, 이제 AI가 자동으로 삭제 신고까지 하는 기술을 도입함으로써 검출부터 삭제 신고까지 걸리는 시간을 획기적으로 단축시킬 것으로 기대하고 있다. 앞으로도 디지털 성범죄로부터 아동·청소년이 안전한 서울을 만들기 위해 최선을 다하겠다”고 말했다.