증거 없는 경고인가, 무시 못할 재앙인가…AI 종말론의 진실 [AI 아포칼립스 대해부 ②]

‘파멸 확률’ 뒷받침할 검증모형 없어
현실서 AI 해킹 능력 확인⋯독자 판단은 아직
국제 전문가 “구체적 위험 독립평가해야”

▲다리오 아모데이 앤스로픽 최고경영자(CEO). (AP뉴시스)

여기서 제기한 위험이 확실하다거나 실제로 일어날 가능성이 높다는 뜻은 아니다. 하지만 우리는 최선을 다해 대비해야 한다.

다리오 아모데이 앤스로픽 최고경영자(CEO)가 올해 발표한 에세이 ‘기술의 사춘기’에서 AI 위협에 대해 밝힌 입장이다. 파국의 가능성을 배제할 수 없지만 예측할 증거도 부족하다는 의미다. 논쟁의 핵심은 불확실한 가능성을 어떻게 검증하고 대비하느냐다.

20일 영국 가디언과 블룸버그통신에 따르면 AI 업계가 말하는 ‘파멸 확률(P둠)’은 사고 통계나 검증된 예측모형에서 계산된 수치가 아니다. 하이디 클라프 AI나우연구소 수석과학자는 “AI에 의한 인류 멸종 주장은 검증도 반증도 할 수 없어 본질적으로 비과학적”이라며 “증거가 없다면 멸종 확률에도 과학적 근거가 없다는 뜻”이라고 비판했다.

게리 마커스 뉴욕대 명예교수는 AI가 1년 안에 인터넷 전체를 장악할 수 있다는 전망을 “터무니없다”고 일축했다. 분산된 인터넷 기반시설을 장기간 마비시키기 어렵다는 지적이다.

그러나 우려하던 능력은 현실에서 일부 드러났다. 파이낸셜타임스(FT)에 따르면 중국 연계 해커들은 7월 자율형 AI 에이전트로 대만 정부 시스템 21곳의 취약점을 탐색하고 최소 85개 계정을 침해했다. 다만 AI가 독자적으로 공격을 결정한 게 아니라 인간이 도구로 활용한 사건이다.

해킹과 기만, 전략 수정 능력의 진전을 곧바로 인류 멸종으로 연결하려면 여러 가정이 필요하다. 아모데이도 “AI가 필연적으로 권력을 추구한다는 논리는 숨은 가정이 많은 개념적 주장”이라며 “그럴듯한 설명을 확정적 증명으로 취급해선 안 된다”고 인정했다.

▲(AI 이미지 편집)

다만 ‘AI 대부’ 요슈아 벤지오 몬트리올대 교수는 “피해가 인류 전체에 미칠 수 있다면 발생 확률을 정확히 계산하지 못해도 예방 조처가 필요하다”고 강조했다.

규제 요구의 속내도 쟁점이다. 대형 AI 기업이 엄격한 기준으로 후발주자의 진입을 막으려 한다는 ‘규제 포획’ 의혹이다. J.D. 밴스 미국 부통령은 기업들의 규제 요청이 “트로이 목마처럼 느껴진다”고 말했다.

30여 개 국가와 국제기구의 지원으로 국제 전문가 100여 명이 작성한 ‘국제 AI 안전 보고서 2026’은 감독 회피와 장기 계획 실행, 인간의 대응 차단 능력을 독립적으로 평가해야 한다고 설명했다. 섬뜩한 실험 하나로 파국을 단정할 수 없듯 몇 차례 시험 통과만으로 안전을 장담할 수도 없다는 분석이다.