“금융권 AI, 3세대 이상 최신 공격엔 취약”

금융보안원, ‘2025년 AI 레드팀 보고서’ 발간

▲AI 공격 기술의 4단계 진화 (제공 금융보안원)

금융권 인공지능(AI)이 기본적인 보안 위협에는 대응할 수 있지만 고도화된 최신 공격에는 취약하다는 경고가 나왔다.

금융보안원은 이러한 내용을 골자로 AI 보안 위협 전망과 금융권 AI 레드팀 활동 결과를 담은 ‘2025년 AI 레드팀 보고서’를 발간했다고 30일 밝혔다. AI 레드팀은 공격자 관점에서 AI 시스템의 고유한 결함과 취약점을 선제적으로 탐색·점검하는 조직이다.

금융보안원의 점검 결과 금융권 AI는 단순 우회 문구 등 기본적인 위협에는 비교적 적절히 대응했다. 그러나 긴 문맥을 이용하거나 지식 데이터베이스(DB)를 오염시켜 모델의 판단을 조작하는 3세대 공격, 도구 사용을 조작해 금융 시스템에 직접적 피해를 유발하는 4세대 공격에는 안전장치가 무력화되는 경향이 나타났다. 챗봇의 부적절한 발언, 조작된 정보 입력 가능성, AI 모델 및 설정 정보 유출 위험 등이 대표 사례로 제시됐다.

보고서는 특히 검색증강생성(RAG) 기반 서비스가 새로운 공격면으로 부상할 수 있다고 지적했다. 지식 DB에 위조·조작된 자료가 유입될 경우 AI가 이를 근거로 잘못된 판단을 내릴 수 있으며 금융 환경에서는 금전적 손실과 신뢰 훼손, 규제·법적 리스크로 이어질 수 있다는 설명이다. 생성형 AI가 고객 상담과 내부 업무 지원을 넘어 핵심 금융 업무로 확대될수록 ‘잘못된 답변’이 단순 품질 문제가 아니라 보안 사고로 전환될 수 있다는 점도 강조했다.

금융보안원은 대응 방향으로 기술적 방어와 내부통제의 통합적인 대응이 필요하다고 제언했다. 핵심 과제로는 △AI 거버넌스 체계 확립 △AI 에이전트 권한 검증 △주기적 AI 레드티밍(취약점 사전 탐지·수정) 수행을 제시했다.

박상원 금융보안원 원장은 “2026년은 AI가 금융혁신의 핵심 경쟁력으로 자리 잡는 동시에 고도화된 AI 공격이 급증하는 시기”라며 “전담 조직을 통해 금융회사가 안전하게 AI를 활용할 수 있도록 선제적인 보안 점검과 자체 검증 체계를 지원하겠다”고 말했다.