KT, 다국어 LLM 안전성 벤치마크 공개…에임인텔리전스·MS와 협력

▲KT가 글로벌 기업, 공공기관, 학계 등과 함께 대규모 언어모델(LLM)의 안전성과 문화적 민감성 인식 능력을 통합 평가하는 다국어 벤치마크 ‘XL-SafetyBench’를 공개했다고 4일 밝혔다. (사진제공=KT)

KT가 글로벌 기업, 공공기관, 학계 등과 함께 대규모 언어모델(LLM)의 안전성과 문화적 민감성 인식 능력을 통합 평가하는 다국어 벤치마크 ‘XL-SafetyBench’를 개발했다. 벤치마크 설계에는 AI 보안 전문 기업 에임인텔리전스와 마이크로소프트(MS), 한국 인공지능안전연구소(AISI), 국내·외 전문가들이 공동으로 참여해 공신력을 높였다.

4일 KT가 공개한 XL-SafetyBench는 한국, 미국, 독일, 일본, 튀르키예, 아랍에미리트(UAE) 등 10개국의 언어·문화적 특성을 반영한 총 5500개 규모(프롬프트)의 다국어 벤치마크다. LLM이 각 국가의 사회적 규범과 문화적 민감성을 얼마나 적절히 인지하고 반영하는지를 측정하는 데 중점을 두고 설계됐다.

예를 들어 AI 모델이 전세 제도와 관련된 금융 리스크나 흰 국화를 선물로 추천하는 답변을 제공하는 경우 글로벌 기준에서는 자연스럽지만 한국과 같은 특정 국가별 문화와 정서에서는 다른 의미로 받아들여진다. XL-SafetyBench는 이같은 사례를 반영해 AI 모델의 안전성과 문화적 민감성 인식 능력을 정밀하게 검증한다.

이번 연구는 단순한 벤치마크 구축을 넘어 실제 서비스 환경에서 활용 가능한 AI 신뢰성 검증 체계의 방향성을 제시했다는 점에서 의미를 갖는다. 에임인텔리전스는 실제 공격 패턴을 반영한 데이터 구축과 검수 프로세스 설계 등 연구 수행의 중심 역할을 맡았다.

KT는 AI 안전성·신뢰성 확보를 위한 기준 수립, 평가 체계 구축, 완화 기술 개발 등을 수행하는 Responsible AI(RAI) 전담 조직에서 축적한 실전 역량을 이번 연구에 적극 투입했다. 이를 바탕으로 기존 평가 방식의 한계를 보완하는 핵심 평가 지표 설계와 평가 로직 구현을 맡아 벤치마크의 기술적 기반을 구축하는 역할을 했다.

MS는 글로벌 AI 서비스 경험을 바탕으로 다문화·다국어 환경에서의 안전성과 문화적 민감성 평가 필요성을 제시했다. AISI는 국가별 법률과 제도, 문화적 특성을 반영한 평가 관점 강화에 힘을 보탰다. 그 외에도 뮌헨공과대학교, 앙카라대학교, 서울대학교 등 학계를 포함한 국내·외 민·관·학 10개 기관 소속의 전문가들 17명이 공동 연구진으로 참여해 전문성과 국제적 공신력을 확보했다.

KT는 AX 플랫폼기업으로서 RAI 전담 조직을 중심으로 실제 서비스 환경에 적용 가능한 안전성·신뢰성 연구를 지속 확대하고 있다. 앞으로도 국내 기업과 공공기관 등 고객이 보다 신뢰할 수 있는 환경에서 AI전환(AX)을 추진할 수 있도록 지원할 계획이다.

벤치마크 데이터셋과 평가 코드는 AI 모델·데이터 공유 플랫폼 허깅페이스(Hugging Face), 오픈소스 개발 협업 플랫폼 깃허브(GitHub)를 통해 공개돼 누구나 활용할 수 있다. 연구진은 해당 벤치마크로 주요 LLM 37종(Claude-4.6-Opus 등)을 대상으로 평가를 수행하고 분석 결과를 포함한 논문도 공개 논문 저장소인 아카이브(arXiv)에 공개했다.

박재형 KT AX미래기술원 Frontier AI Lab장(상무)은 “AI 경쟁이 성능 중심에서 안전성과 신뢰성 검증 단계로 확대되는 가운데, 안전성과 문화적 민감성 인식 능력을 함께 검증하는 평가 체계가 더욱 중요해질 것”이라며 “앞으로도 AI 안전성·신뢰성 연구를 지속 확대하고 국내·외 민·관·학 협력을 이어가며 실제 서비스 환경에 적용 가능한 기술 발전에 힘쓰겠다”고 말했다.