AI가 ‘최애’를 끝까지 따라간다⋯갤럭시 Z의 새 영상 경험 ‘마이 팬캠’

원하는 인물 고르면 AI가 움직임 자동 추적
삼성리서치·MX사업부 협업으로 온디바이스 구현
공연 넘어 가족·운동·여행 영상까지 활용

▲(왼쪽부터) MX사업부 멀티미디어개발그룹 홍소희, 김성환 프로, 삼성리서치 비주얼테크놀로지팀 박황필 프로. (사진=삼성전자)

콘서트장에서 여러 명의 아티스트를 한 화면에 담은 영상도 몇 번의 터치면 ‘최애’만을 위한 직캠으로 바뀐다. 화면 속 원하는 인물을 선택하면 AI가 움직임을 따라가며 해당 인물을 중심으로 영상을 다시 구성한다. 삼성전자가 갤럭시 Z 시리즈에 적용한 ‘마이 팬캠(My FanCam)’이 만든 새로운 영상 경험이다.

10일 삼성전자에 따르면 마이 팬 캠은 삼성리서치가 AI 기반 인물 추적 기술을 맡고 MX사업부가 이를 실제 스마트폰 기능으로 구현했다.

홍소희 삼성전자 MX 사업부 멀티미디어개발그룹 프로는 “사용자가 원하는 인물 중심의 영상을 보다 쉽고 간편하게 만들 수 없을까 하는 고민에서 출발했다”고 설명했다. 스마트폰 하나로 촬영부터 편집, 공유까지 해결하는 이용자가 늘고 SNS를 중심으로 ‘직캠’ 문화가 확산한 데 착안했다.

핵심은 AI 기반 인물 추적 기술이다. 영상 속 원하는 사람을 선택하면 AI가 위치와 외형적 특징을 구별하고 기억해 움직임을 따라간다.

박황필 삼성리서치 비주얼테크놀로지팀 프로는 “AI가 영상 속 사람의 위치 및 외형적 특징을 구별하고 기억해서 영상 내에서 같은 사람인지를 확인하며 추적을 이어간다”고 말했다. 인물이 다른 사람이나 사물에 가려졌다가 다시 등장하거나 여러 사람이 한꺼번에 움직이는 상황에서도 선택한 인물을 찾아낼 수 있도록 했다.

여러 사람이 등장하는 영상도 한 번 분석하면 인물을 바꿔가며 결과를 확인할 수 있다. 김성환 삼성전자 MX사업부 멀티미디어개발그룹 프로는 “인물을 바꿀 때마다 다시 분석해야 한다면 그때마다 결과를 기다려야 한다”며 “처음 한 번 영상을 분석할 때 여러 인물의 움직임을 함께 파악하도록 설계했다”고 설명했다.

기존 직캠처럼 촬영 단계에서부터 한 사람을 계속 따라갈 필요도 없다. 전체 장면을 넓게 촬영한 뒤 원하는 인물을 선택하면 된다. 특정 인물이 영상 중간에 등장하거나 다른 사람에게 가려져도 잘 보이는 시점을 찾아 선택할 수 있다.

개발 과정의 핵심 과제는 복잡한 AI 연산을 스마트폰 자체에서 처리하는 것이었다. 외부 서버에 영상을 보내지 않는 온디바이스 방식인 만큼 처리 속도와 배터리 소모, 발열을 동시에 해결해야 했다. 김 프로는 “가장 큰 과제는 많은 연산이 필요한 AI 기술을 별도의 서버에 연결하지 않고 스마트폰 자체에서 처리하는 ‘온디바이스’ 방식으로 구현하는 것이었다”고 말했다.

삼성리서치는 적은 연산으로도 필요한 성능을 낼 수 있도록 AI 모델을 최적화했고 MX사업부는 영상 디코딩부터 분석까지 처리 구조를 개선해 연산 부담을 낮췄다. 실제 사용 환경에서 발생하는 변수도 반복적으로 검증했다. 박 프로는 “연구 환경에서는 잘 되던 기술도 실제 촬영 영상에서는 빠른 움직임이나 인물 간 겹침 등 다양한 변수로 기대와 다른 결과가 나타나기도 했다”고 말했다.

MX사업부가 실제 영상에서 발견한 문제를 삼성리서치에 전달하면 AI 모델과 추적 방식을 개선한 뒤 다시 제품에서 검증하는 작업을 반복했다. 초기 주 1회였던 개발회의도 기능 구현이 본격화하면서 매일 아침 열리는 회의로 바뀌었다. 홍 프로는 “빠르게 문제를 발견하고 개선 결과를 다시 확인하는 과정이 중요했다”며 “처음에는 주 1회였던 회의도 매일 아침으로 늘려 전날 결과와 그날 해결해야 할 과제를 함께 점검했다”고 설명했다.

마이 팬캠의 활용 범위는 K팝 공연에만 국한되지 않는다. 운동회에서 여러 아이를 촬영한 뒤 자신의 자녀만 중심으로 영상을 만들거나 여행 영상에서 특정 가족을 주인공으로 다시 편집할 수 있다. 삼각대를 세워 자신의 운동 모습을 촬영한 뒤 자신을 따라가는 영상으로 만드는 것도 가능하다.

새로 촬영한 영상뿐 아니라 과거 영상에도 적용할 수 있다. 갤럭시가 아닌 다른 기기로 찍은 영상도 활용할 수 있어 오래된 공연이나 가족 행사 영상도 원하는 사람을 중심으로 다시 구성할 수 있다. 김 프로는 보다 안정적인 결과를 얻으려면 “가능하면 고해상도로 설정하고 원하는 인물 주변에 여유가 있도록 조금 넓게 담아두는 것을 추천한다”고 설명했다. 홍 프로는 마이 팬캠의 의미를 ‘팬심’에서 찾았다. 그는 “팬심은 결국 무언가를 좋아하는 마음이라고 생각한다”며 “그 대상은 아티스트일 수도 있고 가족이나 친구, 나 자신일 수도 있다”고 말했다.