엔비디아 주도 보안 연합, SAFE 가이드라인 개발…에이전틱 사이버 보안 강화

▲엔비디아·AI 업계 리더, 사이버보안 투명성 강화를 위한 SAFE 가이드라인 제안. (사진제공=엔비디아)

엔비디아와 SK텔레콤, 네이버 등 120여개 기업이 참여하는 글로벌 AI 보안 연합이 에이전틱 AI 시대에 대응하기 위한 공동 보안 가이드라인 마련에 나섰다.

엔비디아가 미국 라스베이거스에서 개최된 블랙햇 연례 콘퍼런스에서 '오픈 시큐어 AI 얼라이언스' 회원사들이 에이전틱 AI 사이버보안을 강화하기 위한 새로운 SAFE 가이드라인을 개발하고 있다고 6일 밝혔다.

SAFE는 에이전틱 AI 사이버보안 사고에서 얻은 정보를 생태계 전체를 보호하는 공동의 방어 체계로 전환하기 위해 제안된 가이드라인이다. 엔비디아와 시스코, 크라우드스트라이크, 허깅페이스, 레드햇 등의 얼라이언스 회원사들은 리눅스 재단과 협력해 초기 제안서를 작성하고 있다.

SAFE 가이드라인에는 AI 관련 사고와 아차 사고를 기밀로 수집·분석하고, 영향을 받은 대상에 알리며 반복적으로 발생하는 통제 실패를 식별하는 방안이 포함돼 있다. 시스템 전반의 위험을 줄일 수 있도록 증거에 기반한 운영 권고안을 발표하는 방안도 담겼다.

엔비디아는 개방형 사이버보안 소프트웨어·모델 기술도 소개했다. 에이전트의 동작을 더욱 쉽게 테스트·추적·감사·관리할 수 있도록 지원하는 NOOA, 에이전트가 조회하고 접근하며 실행할 수 있는 범위를 제한하는 오픈쉘 등과 함께 네모 가드레일·어노니마이저, 네모 세이프 신디사이저 등이다. 안전 정책을 시행하고 민감한 데이터를 보호하며, 프라이버시가 보장된 합성 데이터 생성을 지원한다. 오픈소스 취약점 스캐너인 가락은 보안팀이 모델을 출시하기 전에 데이터 유출, 프롬프트 인젝션, 탈옥 시나리오를 점검할 수 있도록 돕는다.

얼라이언스 참여 기업들의 기술 개발도 확대되고 있다. 오픈 시큐어 AI 얼라이언스 회원사들도 아이덴티티와 권한, 하네스, 런타임 가드레일, 보안 AI 모델, 관측성과 평가, 데이터 보안과 프라이버시, 가용성과 복원력 등 방어 스택 전반에 걸쳐 개발을 이어왔다.

엔비디아는 "AI 에이전트는 단순한 모델이 아니라 아이덴티티 제어, 하네스, 가드레일, 로그, 평가로 구성된 하나의 시스템으로 단순한 취약점 검사 이상의 접근이 필요하다"며 "SAFE 프레임워크는 AI 보안 스택 전반에서 개방적이고 검토 가능한 도구를 개발·공유하기 위해 오픈 시큐어 AI 얼라이언스 회원사들이 이어온 기술적 기여를 한층 확장할 것"이라고 밝혔다.