크래프톤, 사람과 실시간 대화하며 행동하는 로봇 모델 만든다…내년 상반기 공개

이강욱 크래프톤 CAIO 특별강연
자체 로봇 파운데이션 모델 개발

▲이강욱 크래프톤 CAIO가 13일 코엑스 '피지컬 AI 테크위크' 특별강연을 진행하고 있다. 김연진 기자 yeonjin@

크래프톤이 ‘신체 지능’과 ‘사회적 지능’이 결합된 단일 ‘로봇 파운데이션 모델’을 개발해 내년 상반기에 공개한다. 사람과 자연스럽게 대화를 하면서 행동까지 자연스럽게 수행할 수 있는 피지컬 AI를 구현한다는 목표다.

이강욱 크래프톤 최고AI책임자(CAIO)는 13일 서울 코엑스에서 열린 ‘피지컬 AI 테크위크’ 특별강연에서 “비전과 스피치를 입력하면 액션과 스피치를 동시에 출력하는 하나의 파운데이션 모델이 궁극적으로 필요하다”며 “내년 초쯤 모델을 공개할 수 있을 것”이라고 말했다.

그는 “로봇 파운데이션 모델이 많이 나오고 있지만 사람과 대화하면서 일을 할 수 있는 모델은 아직 세상에 존재하지 않는다”며 “로봇의 신체 지능이 아무리 높아진다 해도 ‘사회적 지능’ 문제가 풀리지 않아 실제 세상에 적용하는 데 많은 어려움이 있다”고 밝혔다.

이 CAIO는 로봇의 능력을 ‘신체 지능’과 ‘사회적 지능’ 두 축으로 설명했다. 그는 현재 수준의 신체 지능에서 사회적 지능만 높아져도 로봇이 할 수 있는 일이 무궁무진하다고 강조했다. 문제는 피지컬 AI와 로봇 기업들이 신체 지능 향상에만 집중하고 사회적 지능을 올리는 데에 관심이 적다는 것이다.

크래프톤은 로봇의 사회적 지능을 높이기 위해 피지컬 AI 연구 기업 ‘루도 로보틱스’와 협력하고 있다. 사람과 대화하는 거대언어모델(LLM)과 주변 환경을 인식하는 시각·언어·행동(VLA) 모델을 ‘하네스’ 기술로 통합하는 방식이다. 크래프톤은 루도 로보틱스와 하네스 최적화 연구를 진행하고 있으며 8월 ‘Ludi 0.1’을 공개했다.

이날 이 CAIO가 공개한 로봇 시연 영상에는 설거지를 하던 남편이 아내에게 음료를 가져다주기 위해 로봇에게 말을 거는 장면이 등장했다. 로봇이 빨간색과 파란색 음료 중 하나를 집어들자 남편이 “그거 말고 다른 거”라고 지시했다. 그러자 로봇은 하던 동작을 멈춘 뒤 다른 음료수를 집었다. 해당 영상은 8월 처음 시연된 것이다.

이 CAIO는 “클라우드가 아닌 로컬에서 동작하는 AI 시스템이라 반응 속도가 빠르다”며 “기존의 LLM과 액션 모델을 하네스를 통해 연결하는 방식은 문맥을 정확하게 공유하는 것이 어렵다는 한계가 있는데 크래프톤은 하나의 모델로 통합해 훨씬 자연스럽고 능력 있는 로봇 AI를 만들 수 있을 것”이라고 강조했다.