“전문 카메라 없이도 영화처럼”…갤럭시Z, AI로 영상 깊이감 살렸다

AI로 피사체 거리 추정…배경 흐림·빛망울 구현
머리카락·안경테 경계 보완해 자연스러움 강화
촬영 후 초점 변경하고 흐림 강도 7단계 조절

▲박상욱 MX사업부 카메라 개발 담당 프로(왼쪽)와 김영걸 삼성리서치(SR) 비주얼테크놀로지팀 프로 (사진제공=삼성전자)

삼성전자가 AI와 광학 분석 기술을 활용해 전문 카메라 렌즈 특유의 깊이감과 빛망울 표현을 스마트폰 영상에 구현했다.

삼성전자는 16일 갤럭시 Z 폴드8 울트라·폴드8·플립8에 적용한 ‘인물 동영상’ 기능의 개발 과정과 핵심 기술을 공개했다. 삼성리서치가 실제 렌즈의 광학 특성 분석과 AI 영상 처리 기술 개발을 맡고, 모바일경험(MX)사업부가 이를 제품 환경에 맞게 최적화했다.

인물 동영상은 주요 피사체에 초점을 맞추고 배경을 부드럽게 흐려 피사체를 돋보이게 촬영하는 기능이다. 이번 갤럭시 Z 시리즈에서는 피사체와 배경의 거리에 따라 흐림 정도가 자연스럽게 달라지고 배경의 작은 광원도 실제 렌즈로 촬영한 것처럼 빛망울로 표현되도록 고도화됐다.

김영걸 삼성리서치 비주얼테크놀로지팀 프로는 “기존 솔루션만으로는 원하는 수준의 자연스러운 렌즈 표현을 구현하기 어려웠다”며 “당시 SR에서 제안한 기술은 아직 연구 단계였지만 MX사업부는 기술의 가능성을 보고 제품화를 결정했다”고 말했다.

일반적인 블러는 주변 색을 섞어 화면을 흐리게 만드는 방식이다. 반면 대구경 렌즈는 피사체와 배경 사이의 거리에 따라 흐림 정도가 달라지고 밝은 광원은 형태와 밝기를 유지한 채 빛망울로 퍼진다.

▲대구경 렌즈 표현 재현 기술 작동 프로세스 (사진제공=삼성전자)

삼성전자는 실제 대구경 렌즈에서 빛이 퍼지는 방식과 보케(빛망울)가 형성되는 패턴을 분석해 데이터화했다. 여기에 AI가 추정한 영상 속 거리 정보를 결합했다. AI가 장면 속 각 영역과 카메라 사이의 거리를 분석하고 주요 피사체를 찾아 초점 기준 거리를 산출하는 방식이다.

이를 바탕으로 위치별 흐림 정도와 보케 크기를 계산한 뒤 실제 렌즈의 빛 확산 특성을 반영해 자연스러운 아웃포커싱과 빛망울 효과를 구현했다.

머리카락이나 안경테처럼 피사체와 배경의 경계가 복잡한 영역을 구분하는 기술도 개선했다. AI가 추정한 거리 정보만 활용하면 머리카락이 배경과 함께 흐려지거나 배경 일부가 선명하게 남을 수 있다. 삼성전자는 거리 정보에 원본 영상의 경계 정보를 함께 반영해 세밀한 부분에서도 피사체와 배경이 자연스럽게 구분되도록 했다.

박상욱 삼성전자 MX사업부 프로는 “날씨와 광원, 피사체의 움직임과 거리 등 촬영 조건이 달라져도 안정적인 결과를 유지하는 것이 중요하다”며 “SR의 기술을 바탕으로 MX 화질 전문가들이 보기에 얼마나 자연스러운지도 함께 검증하며 완성도를 높였다”고 설명했다.

스마트폰에서 영상 효과를 실시간으로 구현하는 데 필요한 연산량과 전력 소모도 관리했다. 화질에 직접적인 영향을 주는 영역에는 연산을 집중하고 사용자가 체감하기 어려운 영역은 효율적으로 처리하는 방식으로 발열과 성능의 균형을 맞췄다.

김 프로는 인물 동영상 촬영 시 배경의 빛을 이용해 감성적인 보케을 연출하는 노하우를 제시했다. 그는 “햇빛이나 조명을 인물의 뒤나 옆에 두는 구도를 활용하는 것도 좋은 방법”며 “다만 얼굴이 어두워지지 않도록 주변 반사광을 함께 활용해야 균형 잡힌 영상을 얻을 수 있다”고 조언했다.