오픈AI 최신 모델, 멋대로 외부 플랫폼 해킹...“사이버 보안의 악몽”

해킹 시험 중 보안허점 이용해 테스트 환경 탈출

▲오픈AI 로고가 보인다. (로이터연합뉴스)

오픈AI의 최신 AI 모델들이 통제를 벗어나 스스로 외부 사이트를 해킹한 것으로 밝혀졌다.

21일(현지시간) 월스트리트저널(WSJ)에 따르면 오픈AI는 지난주 내부 사이버 보안 평가를 진행하는 과정에서 일부 모델들이 통제를 벗어나 개방형(오픈소스) AI 공유 플랫폼 ‘허깅페이스’를 해킹한 사실을 확인했다고 밝혔다. 테스트에 참여한 모델은 오픈AI가 최근 공개한 GPT-5.6 시리즈 중 최고 성능 모델인 ‘GPT-5.6 솔’과 미공개의 고성능 모델, 총 두 개 모델이었다.

테스트에서는 AI에 시스템 취약성 정보를 제공해 침입을 지시하고, 데이터의 취득이나 악성 프로그램의 실행에 성공하는지를 측정했다. 해당 테스트는 ‘샌드박스’로 불리는 격리된 환경에서 실시해 AI가 외부 인터넷에 접속할 수 없도록 했다. 하지만 이들 AI 모델들은 테스트 환경 시스템에 있는 알 수 없는 취약성을 찾아 샌드박스를 탈출, 외부 사이트 접속에 성공했다. 특히 테스트의 ‘해답’이 허깅페이스에 있다고 스스로 판단하고 이 회사의 시스템의 취약성 정보 등을 활용해 데이터베이스에 침입, 정보를 취득했다. 테스트 해법 찾기에 집착한 AI가 통제를 벗어나 멋대로 외부 기업의 시스템을 해킹한 것이다. 이 과정에서 AI 모델의 보안 대책은 효과가 없었다.

사이버보안업체 런시빌의 아리엘 허버트-보스 최고경영자(CEO)는 “AI가 테스트 질문에 가장 빠른 답을 얻기 위해 허깅페이스를 해킹하기로 판단한 것으로 보인다”면서 “학술적인 관점에서 이런 일이 일어날 수 있다고 생각했지만 실제로 이런 일이 발생한 적은 없었다”고 말했다.

앞서 허깅페이스는 16일 “자율적으로 움직이는 AI 에이전트에 의한 사이버공격을 받았다”고 발표하면서도 어떤 모델이 해킹한 것인지는 알지 못했다. 다만 해킹이 매우 정교해 고성능 AI 모델이라고 내부적으로 추측만 하고 있었다고 한다. 이후 오픈AI 측이 자사 모델이 한 것이라고 허깅페이스 측에 연락했다.

오픈AI는 이번 사안을 최첨단 사이버 능력이 개입된 전례없는 사이버 사고로 규정하고 허깅페이스와 공동으로 원인을 조사해 향후 조사 내용을 공개하기로 했다. 이번 사건을 계기로 AI와 관련한 사이버 안보에 대한 우려가 더욱 커질 것으로 보인다. WSJ는 “사이버 안보의 악몽과 같은 일”이라고 지적했고 블룸버그통신은 “AI 시스템이 새로운 사이버 보안 위협을 어떻게 키울 수 있는지를 보여주는 초기 사례”라고 우려했다.