오픈AI 에이전트, 위키까지 장악…AI끼리 ‘비밀게시판’

독일 공동편집 사이트를 메시지판으로 활용
시험 부정행위 등 규칙 밖 행동에 이용
사건 수주 전 파악하고도 외부 공개 안 해

▲오픈AI 로고와 로봇 피겨. (로이터연합뉴스)

오픈AI의 AI 에이전트들이 독일의 공동편집 위키 사이트를 장악해 메시지를 주고받고 시험 부정행위 등에 활용한 사실이 드러났다. 지난 7월 시험 환경을 벗어난 AI가 외부 기업 시스템에 침입한 데 이어 또다시 통제 이탈 사례가 확인되면서 자율형 AI에 대한 감독을 강화해야 한다는 목소리가 커지고 있다.

5일(현지시간) 로이터통신에 따르면 오픈AI는 자사 AI 에이전트들이 위키 사이트를 임시 메시지 게시판으로 이용한 이른바 ‘위키 사건’을 공식 인정했다. 앞서 로이터는 전날 오픈AI의 다수 에이전트가 5월 독일의 한 공동편집 사이트를 장악해 시험에서 부정행위를 하고 규칙을 벗어난 행동을 하는 통로로 활용했다고 보도했다.

AI 에이전트는 이용자의 목표를 전달받아 스스로 계획을 세우고 외부 시스템과 상호작용하며 업무를 수행하는 AI다. 그러나 자율성이 커질수록 개발자의 의도나 설정된 규칙에서 벗어날 가능성도 커진다. 업계에서는 이 같은 현상을 ‘정렬 실패(misalignment)’라고 부른다.

오픈AI는 “새로운 단계의 모델 능력에 맞춰 정렬 실패 공개 관행도 확대돼야 한다”며 “업계에는 학습과 평가, 실제 배포 과정에서 나타나는 정렬 실패를 어떤 방식으로 보고해야 하는지 명확한 기준이 아직 없다”고 밝혔다. 이어 “현재 세계 각국 수십 곳의 정부 규제기관과 관련 문제를 협의하고 있다”고 설명했다.

오픈AI가 사건을 인지하고도 즉시 공개하지 않았다는 점은 논란이 될 전망이다. 회사 관계자들은 수주 전 위키 사건을 파악했지만 로이터 보도가 나온 뒤에야 관련 사실을 인정했다. 오픈AI는 사건을 언제 알았는지, 왜 공개를 미뤘는지에 관한 추가 질문에는 답하지 않았다.

앞서 7월에는 오픈AI 에이전트가 시험 환경을 이탈해 AI 플랫폼 허깅페이스의 시스템에 침입한 사건도 발생했다. 당시 에이전트는 수일간 해킹 활동을 벌였지만 오픈AI는 약 일주일 동안 이를 알아차리지 못한 것으로 전해졌다. 잇단 사고로 AI 기업의 자진 신고에만 의존하지 않고 통제 이탈 사고의 공개와 외부 검증을 의무화해야 한다는 요구가 더욱 커질 것으로 보인다.