AI가 쓴 가짜댓글, ‘말투’로 잡는다

KAIST 연구팀, AI 댓글 탐지 기술 개발
반복문자·줄 바꿈·말투 차이로 식별
탐지 정확도 98.5%…LLM까지 추적
"AI 기반 여론 조작 대응 기반 마련했다"

▲오픈AI '달리'로 생성한 이미지. (오픈AI '달리'·이은주 기자 letswin@)

국내 연구진이 인공지능(AI)이 작성한 댓글을 가려낼 수 있는 기술을 세계 최초로 개발했다. 이 기술은 기존 기술로는 구분하기 어려웠던 한국어의 짧고 자유로운 댓글까지 정교하게 탐지할 수 있다.

23일 한국과학기술원(KAIST)는 김용대 전기및전자공학부 교수 연구팀이 국가보안기술연구소와 협력해 한국어 AI 생성 댓글을 탐지하는 기술 'XDAC'를 개발했다고 밝혔다. 이 기술은 AI가 작성한 한국어 댓글을 구분할 뿐 아니라, 어떤 생성형 AI 모델이 글을 썼는지까지 식별할 수 있다.

먼저 연구팀은 14종의 다양한 거대언어모델(LLM)을 활용해, 자연스러운 문체와 세밀한 감정 제어를 강화한 AI 댓글 생성 프레임워크를 만들었다. 이후 이를 기반으로 AI 생성 댓글의 고유한 말투 패턴을 파악했다.

그 결과, AI는 “~것 같다”, “~에 대해”처럼 형식적이고 중립적인 문장과 접속어 사용률이 높았다. 반면 사람은 “ㅋㅋㅋㅋ”, “ㅠㅠㅠ”, 줄 바꿈, 특수기호(♡, ★ 등) 등 구어체적이고 감성적인 표현을 더 많이 사용했다. 특히 줄 바꿈이나 반복 문자(ㅋㅋㅋㅋ 등)는 AI 댓글(1%)보다 사람 댓글(26%)이 월등히 높았다. 반복 문자(예: ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등) 사용률도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 더 많았다.

이를 바탕으로 XDAC는 AI 댓글 탐지 성능을 높였다. △줄 바꿈·띄어쓰기 등 ‘서식 문자’ 처리 △반복 문자 패턴 분석 △LLM별 말투 차이 추적 기술 등을 결합해 탐지 정확도를 극대화했다. XDAC는 AI 댓글 탐지 정확도(F1 점수) 98.5%, LLM 식별 정확도 84.3%를 기록했다.

고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다"고 강조했다.

연구팀은 XDAC가 의심스러운 계정이나 조직적 여론 조작 시도를 정밀 감시·대응하는 데 활용될 수 있다고 평가했다. 또한, 향후 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장할 수 있다고 봤다.

이번 연구는 자연어처리 분야 최고 권위 학회인 ‘ACL 2025’ 메인 콘퍼런스에 채택됐다. 해당 연구엔 KAIST 김용대 교수의 지도로 국보연 소속이자 KAIST 박사과정인 고우영 선임연구원이 제1 저자로 참여했으며, 성균관대학교 김형식 교수와 KAIST 오혜연 교수가 공동 연구자로 참여했다.