“AI 10년내 우리 모두 죽일수도”⋯앤스로픽 연구진 잇단 ‘멸종 경고’

콕슨 앤스로픽 연구원 사표 내며 폭로
“임원들도 사석에선 두려워한다”
오픈AIㆍ앤스로픽 모두 인류 목숨 걸고 도박”
현직 동료들도 “AI가 인류 죽일 수 있다”

▲제이컵 콕슨 엑스 계정 캡처.

세계적인 AI 기업 앤스로픽의 연구원이 AI에 따른 인류 멸종 위험을 경고하며 사표를 던졌다. 단순히 한 연구원의 돌출된 주장은 아니었다. 현직 앤스로픽 연구자들도 공개적으로 그의 주장에 동조하며 AI가 향후 10년 안에 인류를 멸종시킬 가능성을 현실적인 위험으로 보고 있다고 경고했다.

8일(현지시간) 가디언에 따르면 앤스로픽을 퇴사한 연구원 제이컵 콕슨(27)은 이날 엑스(X·옛 트위터)에 AI 업계를 비판하는 글을 올렸다. 이 글의 조회수는 현재 1억2000만 뷰가 넘었다.

27세 영국 출신인 콕슨은 대규모 데이터를 이용해 새로운 AI 모델을 학습시키는 분야를 연구했다. 올해 초 오픈AI를 떠나 앤스로픽에 합류했다. AI 안전을 중시하는 앤스로픽의 기업 문화 때문에 이직했지만 결국 개별 기업의 노력만으로는 AI의 위험을 통제할 수 없다는 것이 콕슨의 설명이다. 그는 “오픈AI와 앤스로픽 양사 모두 책임 있게 행동하고 있지 않다. 이들은 스스로를 개선하는 초지능을 향해 곧장 질주하면서 우리의 목숨을 걸고 도박하고 있다”고 지적했다.

콕슨은 또 “AI를 만드는 사람들은 AI가 이번 10년이 끝나기 전에 우리 모두를 죽일 수 있다고 진지하게 믿고 있다. 이것은 마케팅을 위한 과장된 주장이 아니다. 오히려 많은 경영진과 고위급 연구자들은 언론 앞에서는 합리적으로 들리도록 표현을 완곡하게 다듬는다”면서 “하지만 나는 바로 그 사람들이 사석에서는 두려움을 드러내는 것을 듣는다. 다른 어떤 인간의 활동도 이 정도 수준의 위험을 초래하지 않는다”고 설명했다.

앞서 콕슨은 각국 정부에 AI 개발 속도를 조절할 수 있는 국제적인 체계를 마련하라고 촉구하는 AI 업계 연구자들의 성명에도 참여했다. 이 성명에는 앤스로픽의 다리오 아모데이 최고경영자(CEO)와 오픈AI의 야쿠프 파초키 수석과학자 등 연구자 1000여명이 서명했다.

▲제이컵 콕슨 엑스 계정 캡처.

콕슨의 게시물에는 앤스로픽 직원 최소 2명이 반응하며 암울한 전망에 동조했다. 첫 번째로 앤스로픽의 ‘정렬(alignment)’ 부문 리더라고 자신을 소개한 에번 허빙거가 나섰다. 정렬 부문은 앤스로픽의 AI 모델이 인간의 목표에 부합하는 방식으로 작동하도록 하는 업무를 담당한다.

허빙거는 콕슨의 주장이 “맞다”면서 다음과 같이 썼다. 그는 “우리는 정말로 AI가 모든 인간을 죽일 수 있다고 진지하게 믿는다! 개인적으로 나는 향후 10년 안에 그런 일이 일어날 확률이 10%를 넘는다고 생각한다”며 “앤스로픽이 최선을 다하고 있다고 생각하지만 우리는 아직 초지능의 정렬 문제를 해결할 계획을 갖고 있지 않으며 이를 해결할 수 있는 궤도에 확실히 올라섰다고도 할 수 없다”고 비판했다. 현재도 앤스로픽에 재직 중인 인물이 콕슨의 부정적이고 종말론적인 전망을 이처럼 공개적으로 확인했다는 점에서 허빙거의 발언은 놀라운 것으로 받아들여진다고 가디언은 풀이했다.

두 번째 반응은 앤스로픽의 ‘확장 가능한 감독 책임자(scalable oversight lead)’인 새뮤얼 마크스에게서 나왔다. 그는 개인 의견임을 전제로 “AI 개발자들은 자신들이 만드는 기술이 인류 멸종을 초래할 수 있다고 믿고 있다. 또는 그에 버금갈 정도로 끔찍한 결과를 초래할 수 있다고 생각한다”면서 “이런 일은 향후 몇 년 안에도 일어날 수 있다. 일반적으로 직급이 높은 직원일수록 더 크게 우려하고 있다”고 경종을 울렸다.

이들의 인류 멸종 가능성에 대한 견해는 앤스로픽의 경쟁사 오픈AI의 샘 올트먼 최고경영자(CEO)가 AI의 사이버보안 능력과 관련해 보다 구체적인 경고를 한 뒤 나온 것이다. 올트먼은 지난해 인간이 의사결정권을 AI에 넘겨주는 ‘조용한 항복(silent surrender)’ 현상을 언급하며 “AI의 일부 측면이 자신을 두렵게 한다”고 밝혔다.

AI 업계 경영진들은 AI가 나아가는 방향과 인간의 기능 및 행동을 조종하고 장악하며 통제할 수 있는 능력이 점점 커지고 있다는 점에 대해 우려를 표명해왔다. 아울러 올 여름에는 AI가 사용자의 통제를 벗어나 거짓말을 하거나 지시를 무시하거나 해로운 방식으로 목표를 추구하는 사례가 급격히 증가했다는 보고도 나왔다고 가디언은 덧붙였다.