오픈AI 이사 된 美 당국자의 섬뜩 경고⋯“AI 통제 잃으면 대부분 죽을수도”

▲오픈AI 로고가 보인다. 로이터연합뉴스

미국 정부에서 최첨단 AI의 위험을 평가해온 대표적 안전 전문가가 오픈AI 재단 이사회에 합류하면서 “충분한 안전장치 없이 초지능을 개발하면 AI가 대부분의 사람을 줄일 수 있다"고 경고했다. AI로 인한 인류 멸망 우려가 AI 개발 최전방에 잇따라 터져나오고 있다.

9일(현지시간) 파이낸셜타임스(FT)에 따르면 오픈AI는 이날 폴 크리스티아노 미 상무부 산하 국립표준기술연구소(NIST) ‘AI 표준·혁신센터(CAISI)’ 선임 기술고문을 오픈AI 재단 이사로 선임했다고 발표했다. 그는 오픈AI 그룹 PBC 이사회에도 의결권이 없는 참관인(옵서버)로 참여하고, 오픈AI 전체의 안전·보안 정책을 감독하는 재단 산하 안전보안위원회에도 합류한다.

지난해 오픈AI는 공익법인 오픈AI PBC와 지배주주인 오픈AI 재단으로 지배구조가 변경됐다. PBC 지분 26%를 소유한 오픈AI 재단은 PBC 이사 임명권을 가진다.

크리스티아노는 CAISI에서 AI 안전 부문을 이끌었다. 주요 AI 기업들의 최첨단 AI 모델을 대상으로 정부 차원의 시험을 설계하고 수행했으며, 해당 모델들이 국가안보에 미치는 위험도 평가했다.

오픈AI는 “크리스티아노는 CAISI의 수석 기술고문직을 계속 맡지만 오픈AI 모델 평가를 비롯해 오픈AI와 관련된 모든 사안에서는 직무를 회피할 것”이라며 “자사 사명에 핵심적인 거버넌스 결정에 독특하면서도 기술적으로 탄탄한 관점을 제공할 것”이라고 설명했다.

그의 임명은 오픈AI의 AI 에이전트들이 AI 모델·데이터 저장소 스타트업 허깅페이스를 상대로 해킹한 초유의 보안 사고가 발생하며 AI 통제 능력에 대한 우려가 커진 가운데 이뤄졌다.

크리스티아노는 이날 엑스(X·옛 트위터)에 “AI 시스템에 대한 통제력을 상실할 위험이 이제 심각한 수준에 이르렀다”며 “AI가 인간의 이해관계에 부합하도록 만드는 ‘정렬(alignment)’을 위해 더 많은 노력이 필요하다”고 밝혔다.

이어 “그런 일이 벌어진다면 대부분의 사람이 죽을 수도 있다”며 “위험을 수용 가능한 수준으로 낮추고 전 세계적으로 일관된 대응을 보장하기 위해 미국 국내는 물론 국제적인 공조가 필요할 것이라고 생각한다”고 언급했다.

크리스티아노는 임명 발표문에서는 “나는 이제 AI 역량의 급속한 발전이 아주 가까운 미래에 재앙적이고 되돌릴 수 없는 통제력 상실로 이어질 상당한 위험이 있다고 생각한다”고 진단했다.

이어 “오픈AI를 포함해 AI 업계 전반이 현재 이러한 위험을 수용 가능한 수준으로 낮출 수 있는 방향으로 가고 있다고 생각하지 않는다”며 “내가 합류하는 이유는 오픈AI가 이 문제에 제대로 대응한다면 위험을 상당히 죽일 수 있다고 믿기 때문”이라고 덧붙였다.

AI 업계에서 안전 연구의 선구자로 널리 평가받는 크리스티아노는 2021년 ‘정렬연구센터(Alignment Research Center·ARC)’를 설립했다. ARC에서 분사한 비영리단체 ‘모델 평가 및 위협 연구(Model Evaluation & Threat Research·METR)’는 지난달 오픈AI의 허깅페이스 공격과 관련한 최초의 독립적인 감사를 발표했다.

크리스티아노는 2010년대 중반 오픈AI에서 일할 당시 다리오 아모데이 앤트로픽 최고경영자(CEO)와 함께 살기도 했다. 당시 두 사람 모두 ‘효과적 이타주의(effective altruism) 운동’에 참여했다. 이후 크리스티아노는 앤트로픽의 ‘장기이익신탁’ 수탁자가 됐다. 그는 2024년 CAISI에 합류하면서 오픈AI의 최대 경쟁사인 앤트로픽의 해당 거버넌스 기구에서 물러났다.

크리스티아노는 오픈AI와 앤트로픽에 대한 검증을 포함해 AI 업계의 안전장치가 충분한지를 평가하는 데 있어 존중받는 독립적인 목소리를 내왔다. 그는 과거에도 AI 연구소들이 책임 있는 정책을 시행하도록 만들기 위해 외부의 압력이 중요하다고 주장했다.

FT는 “크리스티아노의 임명은 세간의 이목을 끈 사이버보안 사고 이후 정부 개입을 요구하는 목소리가 커지자 AI 연구소들이 학계와 정책기관 출신 인사를 영입해 안전 및 규제 분야 전문성을 강화하려는 움직임이 확대되고 있음을 보여준다”면서 “이러한 인재 영입 경쟁은 AI 연구소들이 정치적 지출을 빠르게 늘리고 시민사회에 대한 영향력을 확대하는 흐름과 동시에 진행되고 있다”고 풀이했다.