오픈AI 새 모델, 사이버 위험 첫 ‘중대’ 판정⋯AI 불신 확산 [종합]

차기 모델 ‘아스트라’, 자율적 해킹 가능
일반 공개 기능 제한…행동 감시·자동중지 도입
미국 사회, 생성형 AI 불신 확산
데이터센터 반대 여론도 격화

▲그래픽=AI 기반 편집 이미지(Chat GPT)

AI 성능이 고도화하면서 기술 발전을 둘러싼 기대만큼 위험에 대한 경계감도 커졌다. 오픈AI의 차기 AI 모델이 자체적인 ‘사이버공격 위험평가’에서 처음으로 ‘중대 위험’ 등급을 받았다.

나아가 AI가 일자리와 지역사회, 개인의 삶에 미칠 부정적 영향을 우려하는 목소리가 확산하는 한편, 데이터센터마저 혐오 시설이라는 인식이 퍼졌다. AI 산업이 사회적 신뢰라는 새로운 시험대에 올랐다는 분석이 설득력을 얻고 있다.

1일(현지시간) AP통신ㆍ액시오스 등에 따르면 오픈AI 차기 AI 모델 ‘아스트라(Astra)’가 내부 위험평가에서 ‘위험(Critical)’ 등급으로 평가됐다. 오픈AI 모델이 사이버 보안 분야에서 최고 수위인 이런 등급을 받은 것은 이번이 처음이다.

오픈AI가 규정한 위험 등급은 단순히 악성코드를 작성하는 수준을 넘어선다. 인간의 개입 없이도 AI 스스로 상대 시스템의 취약점을 찾아내 실제 공격까지 연결할 수 있느냐가 기준이다. 아울러 최종 목표만 주어졌다면 표적에 대한 강력한 사이버 공격 전략을 스스로 세우고 실행하는 능력도 ‘위험 등급’에 해당한다.

오픈AI의 새 모델 아스트라는 이 가운데 첫 번째 기준, 즉 ‘인간 개입 없이 스스로 상대 시스템의 취약점을 찾아내 공격과 연결 가능한 수준’에 해당하는 것으로 전해졌다. AI가 자율적으로 사이버 공격을 단행할 가능성이 커진 셈이다.

오픈AI는 이런 자체 평가 결과를 공개하는 한편 아스트라를 현재 능력을 그대로 대중에게 공개하지 않겠다는 입장도 내놨다. 일반 공개 버전에서는 고급 사이버 보안 기능을 제한하고 모델의 전체 성능을 사용할 수 있는 상위 버전은 초기 단계에서 소수의 사용자에게만 제공할 계획이라고 강조했다. 강력한 AI를 개발하는 것과 별개로 누가 어느 수준까지 해당 능력에 접근할 수 있는지를 통제하겠다는 의지로 풀이된다.

사이버 보안 안전장치도 강화한다. 악의적 행위를 요구하는 이용자의 명령을 거부하도록 추가로 훈련하는 것은 물론 안전장치를 무력화하기 위한 이른바 ‘탈옥(jailbreak)’ 지시에도 대응하지 않도록 조치했다. AI 에이전트가 실제로 수행하는 작업을 감시하는 시스템도 강화한다.

무엇보다 AI 에이전트의 행동과 추론 과정을 분석해 잠재적으로 위험한 움직임이 포착되면 작동을 자동으로 중지시키는 통제 시스템도 도입한다. AI가 스스로 여러 단계의 작업을 계획하고 실행하는 능력이 커질수록, 사후 차단보다 실행 과정 자체를 감시하는 안전장치가 중요해졌기 때문이다.

앞서 실제로 7월 오픈AI의 미공개 모델들이 테스트 과정에서 글로벌 오픈소스 AI 플랫폼 ‘허깅페이스’를 허가 없이 해킹한 사건이 발생했다. 오픈AI는 이번에 위험 등급을 받은 아스트라는 “당시 사건과 관련이 없다”는 공식 입장을 밝혔다.

오픈AI는 “우리의 새 모델이 더 중대한 일을 맡을 수 있을 만큼 새로운 발전 단계에 진입하고 있다”면서 “정렬(alignment)과 통제(control)의 실패가 더 심각한 결과를 가져올 수 있는 시기에 서 있다”며 보안의 필요성을 강조했다.

이렇듯 AI의 급격한 발전을 둘러싼 경계감은 기술업계 내부에만 머물지 않고 있다. 미국 사회에서는 AI와 빅테크 기업에 대한 불신이 일자리와 데이터센터, 청소년 보호 문제 등으로 확산하면서 정치·사회적 쟁점으로 번지는 모습이다.

사정이 이렇다 보니 AI에 대한 인식 변화도 뚜렷하다. 퓨리서치센터가 6월 실시한 조사에서 미국인의 52%는 일상생활에서 AI 사용이 증가하는 데 대해 “기대보다 우려가 크다”고 답했다. 2021년 같은 응답 비율이 37%였던 것과 비교하면 불과 5년 사이 15%포인트(p) 증가한 셈이다.

AI 인프라 확대에 대한 반감도 커졌다. 대규모 데이터센터 건설에 필요한 막대한 전력과 용수, 소음과 농지 훼손 등을 문제 삼는 주민들이 건설 반대 운동에 나서고 있다. 애리조나와 미시간, 펜실베이니아 등이 대표적이다. AI 데이터센터에 대해 ‘혐오 시설’이라는 인식이 확대되는 형국이다.

거대 기술 기업의 영향력이 커지는 동안 사회적 책임과 안전장치가 이를 따라가지 못했다는 비판이 AI 산업으로 옮겨붙고 있다는 분석이다.

AI 안전 비영리단체 패덤(Fathom)의 앤드루 프리드먼 공동창업자는 정치매체 액시오스와 인터뷰에서 “이러한 안전 노력이 얼마나 오래, 얼마나 강력하게 유지될지는 시장의 압력과 AI 정렬을 내부적으로 검증하는 일이 얼마나 어려운지에 달려 있다”고 지적했다.