AI 통제 어렵네⋯오픈AI, 차세대 모델 출시 계획 취소

‘GPT-6.1 아스트라’ 내달 공개 계획 취소
성능 뛰었났지만⋯안전성 평가 기준엔 미달
내부시험서 기만적 행동ㆍ무단 작업 확인

▲오픈AI 로고. 로이터연합뉴스

오픈AI가 내부 시험에서 안전성 우려가 나타나자 차세대 AI 모델 ‘GPT-6.1 아스트라’의 출시를 전격 취소했다. 선두 AI 개발업체가 안전성 우려를 이유로 새로운 AI 모델의 출시를 포기하는 것은 이례적인 일이다. AI 에이전트의 통제 문제가 업계 전반의 과제로 떠오른 가운데 안전성 우려가 AI 신모델 출시나 개발 속도에 제동을 걸 수 있다는 것을 보여줬다는 분석이다.

28일(현지시간) 월스트리트저널(WSJ)에 따르면 오픈AI의 GPT-6.1 아스트라는 이른바 ‘모델의 게으름’ 즉 작업을 충분히 수행하지 않는 문제에서는 개선을 보였다. 사람의 도움 없이 어려운 작업을 처음부터 끝까지 수행하는 능력과 글쓰기 능력에서 이전 모델보다 뛰어났다.

그러나 내부 시험에서 안전성과 정렬 기준에는 미치지 못한 것을 확인함에 따라 공개하지 않기로 했다. 애초 오픈AI는 GPT-6.1 아스트라를 내달 대화형 AI 서비스 챗GPT와 코딩 도구 코덱스 등에 선보일 예정이었다.

오픈AI의 사치 자인 안전시스템책임자는 인터뷰에서 GPT-6.1 아스트라가 두 가지 영역에서 퇴보를 보였다고 설명했다. 이전 모델인 ‘GPT-6 아스트라’와 비교했을 때 인간이 원하는 바를 얼마나 잘 따르는지 측정하는 지표인 ‘정렬’ 테스트에서 저조한 성적을 거뒀다. 구체적으로 GPT-6.1 아스트라는 기만적인 행동을 더 많이 보였는데, 자신이 어떤 행동을 했고 하지 않았는지 사용자에게 항상 솔직하게 알리지는 않았다.

또 다른 문제는 오픈AI가 ‘권한 범위 승인’이라고 부르는 영역이었다. GPT-6.1 아스트라는 사용자에게 허락을 구하지 않고 작업을 계속 진행했으며, 안전하지 않을 수 있는 상황에서도 외부 도구와 서비스에 접근하려 했다.

자인 안전시스템책임자는 “안전성과 정렬에 관한 모든 문제에는 절충이 따른다”며 “모델이 허용된 범위 안에 머무르도록 하면서도, 작업 중 장애물에 부딪혔을 때 지나치게 소극적으로 행동하지 않게 하는 적절한 균형점을 찾아야 한다”고 말했다.

자인은 GPT-6.1 아스트라에서 확인된 문제의 근본 원인을 파악하기 위해 여러 분야를 심층 조사할 계획이라고 전했다.

GPT-6.1 아스트라의 출시 취소 사실은 개발자 행사를 하루 앞두고 알려졌다. 오픈AI는 29일 미국 샌프란시스코에서 연례 개발자 콘퍼런스를 개최할 예정이다. 이 행사는 오픈AI가 개발자를 대상으로 새로운 소프트웨어와 기능을 공개해온 자리로, 샘 올트먼 최고경영자(CEO)도 연설할 예정이다.

올여름 업계 전반에서 AI 시스템이 통제 범위를 벗어나 오작동했다는 보고가 잇따랐다. 지난주 오픈AI의 한 AI 에이전트는 회사의 인터넷 접속 제한망을 뚫고 외부 공개 챗봇에 질의를 시도한 사건이 발생하기도 했다. 오픈AI는 이 사건은 GPT-6.1 아스트라와 관련 없는 것이라고 설명했다.

오픈AI는 최근 몇 달간 확인한 여러 AI 에이전트 보안사고를 조사하고 있다. 이를 위해 AI 에이전트의 부적절한 행동을 더 빨리 찾아내는 새 감시 시스템을 도입했으며, 엔지니어들이 AI 시스템을 시험할 때 더 강력한 보안 장치를 사용하도록 의무화했다.

이에 최근 몇 주간 AI 개발 선두업체인 오픈AI와 앤스로픽은 경쟁기업들에 최첨단 AI 모델 개발 속도를 늦추고 안전 표준에 투자할 것을 촉구한 바 있다. 두 회사도 자체 개발 속도를 조절하겠다고 다짐했다.

AI 기술이 빠르게 발전하면서 AI 기업들은 정책 입안자와 공직자들의 감시를 받기 시작했다. 이번 주 후반에는 미국 상원 소위원회가 외부 AI 연구자들을 불러 ‘통제 불능 AI: AI 에이전트의 공격으로부터 미국 본토를 보호하기’를 주제로 청문회를 연다.

공화당 소속 제임스 우스마이어 플로리다주 법무장관은 6월 오픈AI와 샘 올트먼 CEO가 사용자에게 해를 끼칠 수 있다는 경고를 무시하고, 안전하지 않은 제품이라는 사실을 알면서도 출시했다고 주장하며 소송을 제기하기도 했다.

우스마이어 장관은 이날 제출한 임시 금지명령 신청서에서 제3자가 승인한 안전장치 없이는 오픈AI가 새 AI 모델을 개발하지 못 하게 하고, 챗GPT가 사용자의 이용을 유도하는 행위를 중단시키며, 챗GPT가 안전하다고 광고하는 능력을 제한해 달라고 요청했다.

오픈AI 대변인은 “정부는 AI에 대한 견고한 안전성 기준을 마련하는 데 중요한 역할을 한다”며 “우리는 한 회사에만 적용되는 정책이 아니라 AI 업계 전체에 적용되는 실용적인 정책을 발전시키기 위해 플로리다주를 비롯한 여러 주와 협력하는 데 전념하고 있다”고 밝혔다.