“타이핑 없이 말하고, 보여주면 끝”…삼성의 AI, ‘멀티모달’을 넘어 ‘의도 이해’로 진화

멀티모달 AI 진화 "말하고 보여주는 시대"
나우브리프, 사용자 행동 및 루틴 기반 맞춤 제안

▲7월 9일(현지시간) 미국 뉴욕에서 삼성전자 MX사업부 랭귀지(Language) AI팀 박지선 부사장이 멀티모달AI에 대해 브리핑하고 있다. (사진제공=삼성전자)

삼성전자가 모바일 인공지능(AI)의 새 패러다임으로 ‘멀티모달 AI’와 ‘의도 이해형 AI’를 제시했다. 음성, 시각 등 다양한 입력 수단을 종합해 사용자의 맥락과 상황을 파악하고 기기 간 경계를 넘는 ‘앰비언트 인텔리전스(Ambient Intelligence)’를 구현하겠다는 비전이다.

9일(현지시간) 미국 뉴욕 브루클린에서 열린 기자 브리핑에서 삼성전자 MX사업부 랭귀지 AI팀 박지선 부사장은 “사람들이 더 이상 AI를 배우지 않아도, AI가 사람을 이해하는 시대가 왔다”며 “사용자의 행동과 선호를 기반으로 먼저 제안하고 도와주는 AI가 모바일 경험의 표준이 될 것”이라고 말했다.

삼성은 올해 초 갤럭시 S25 시리즈를 통해 자연어 이해 기반의 대화형 AI를 구현한 데 이어, 4월부터는 ‘비전 AI’까지 탑재하며 본격적인 멀티모달 AI로의 확장을 선언했다. 이번에 공개된 갤럭시 Z 폴드7과 플립7에는 이러한 기술이 더욱 정교해진 형태로 적용됐다.

박 부사장은 “멀티모달 AI는 말 그대로 음성과 시각 등 다양한 감각 정보로부터 동시에 정보를 인식하고 이해하는 기술”이라며 “예컨대, AI에게 날씨에 맞는 옷을 추천해 달라고 말하며 카메라로 옷장을 보여주면, AI가 사용자의 위치와 날씨, 옷장의 시각 정보를 종합해 답변하는 식”이라고 설명했다.

삼성은 이를 가능케 하기 위해 오랜 시간 하드웨어와 소프트웨어를 병행 고도화해왔다. 2017년 빅스비 보이스와 비전 기능을 시작으로, 최근에는 퀄컴·구글 등과 협업을 통해 모바일 기기에서 멀티모달 인식을 실시간으로 처리할 수 있도록 했다.

더 나아가 삼성은 사용자와의 상호작용을 넘어 ‘맥락 이해’와 ‘예측’까지 구현하는 방향으로 진화하고 있다. 대표적인 사례가 ‘나우 브리프(Now Brief)’ 기능이다. 갤럭시 S25 및 갤럭시 Z폴드7ㆍZ플립7에 탑재된 이 기능은 사용자의 일정, 건강 정보, 앱 사용 습관을 분석해 자동 루틴을 제안하고 맞춤형 정보 브리핑을 제공한다.

박 부사장은 “AI는 더 이상 단순 응답 기계가 아니라, 사람의 필요를 먼저 파악하고 추천하는 조력자가 돼야 한다”며 “원UI 8 기반으로 이제는 AI가 사용자의 상황과 데이터를 바탕으로 맥락을 이해하는 수준에 이르렀다”고 말했다.

삼성이 추구하는 궁극적인 AI는 ‘앰비언트 인텔리전스’다. 이는 스마트폰을 중심으로 워치, 링, XR기기, 가전, TV까지 기기 간 경계를 넘나들며 AI가 유기적으로 작동하는 환경을 뜻한다. 예컨대, 스마트폰으로 인식한 일정 정보가 자동으로 냉장고나 TV 화면에도 반영되는 시나리오가 가능해진다.

박 부사장은 “앰비언트 인텔리전스는 특정 앱이나 기기에 얽매이지 않고, AI가 공기처럼 사용자 삶에 녹아드는 것”이라며 “삼성은 스마트폰을 AI 허브로 삼아, AI가 사용자 주변 모든 기기에서 유기적으로 연결되고 동작하는 생태계를 만들어가고 있다”고 강조했다.

한편, 이 같은 기능들이 사용자 데이터를 기반으로 작동하는 만큼, 보안에 대한 우려도 있다. 이에 대해 박 부사장은 “개인정보와 행동 패턴은 대부분 단말기 내에서 처리되며, 삼성의 보안 플랫폼 ‘녹스(Knox)’를 통해 민감 정보는 외부로 유출되지 않도록 설계돼 있다”고 설명했다.

삼성전자는 앞으로도 자체 AI 모델인 ‘가우스(Gauss)’와 구글 제미나이 등 외부 LLM을 혼용하는 ‘하이브리드 AI’ 전략을 유지하되, 사용자에게 가장 자연스럽고 직관적인 경험을 제공하는 방향으로 기술을 발전시켜나갈 계획이다.