일레븐랩스, 영상 분석해 음악·효과음 만드는 AI 서비스 출시

장면별 분위기·속도 반영해 음악 제작
효과음 생성부터 개별 편집까지 지원
영상 10개 동시 처리하는 API도 제공

▲일레븐랩스 ‘인스턴트 사운드트랙’ 관련 이미지 (사진=일레븐랩스)

글로벌 AI 오디오 기업 일레븐랩스가 영상의 내용과 분위기를 분석해 배경음악과 효과음을 자동 제작하는 ‘인스턴트 사운드트랙’을 선보였다. 영상 속 장면 전환과 움직임에 맞춰 음악을 구성하고 필요한 시점에 효과음을 삽입하는 기술이다. 음악과 효과음을 각각 수정할 수 있는 편집 기능도 지원한다.

26일 일레븐랩스에 따르면 ‘인스턴트 사운드트랙’은 사용자가 영상을 올리면 AI가 화면을 분석해 적합한 음악을 제작하는 서비스다. 효과음이 필요한 구간도 찾아 해당 시점에 소리를 배치한다. 광고 영상의 마지막에 등장하는 로고에 별도의 효과음을 넣는 방식으로 활용할 수 있다.

영상의 흐름에 따라 음악 스타일을 변경하는 기능도 갖췄다. 속도감 있는 장면에는 EDM이나 R&B를 적용하고, 차분한 화면에서는 어쿠스틱 기타 중심의 음악으로 전환할 수 있다. 짧은 영상의 재생 속도와 장면 구성에 맞춰 음악이 나오는 시점도 조정했다.

기존 영상에 소리가 포함돼 있다면 이를 새로운 음악 제작에 참고할 수 있다. AI가 원본 오디오의 장르와 분당 비트 수(BPM), 사용된 악기 등을 파악해 비슷한 특성의 음악을 생성하는 방식이다. 이를 통해 영상에 이미 적용된 음악적 요소를 반영할 수 있도록 했다.

제작한 음원은 ‘일레븐크리에이티브’의 ‘뮤직 비디오 에디터’에서 수정할 수 있다. 배경음악과 효과음이 서로 다른 편집 레이어에 표시돼 개별 조정이 가능하다. 사용자는 효과음을 추가하거나 재생 시점을 변경할 수 있고, 배경음악을 다른 곡으로 교체한 뒤 결과물을 내보낼 수 있다.

서비스는 15일부터 ‘일레븐크리에이티브’, ‘일레븐뮤직’, ‘일레븐API’에서 제공되고 있다. ‘일레븐크리에이티브’에서는 ‘뮤직 비디오 에디터’와 광고 제작용 ‘크리에이티브 엔진’을 통해 이용할 수 있다.

개발자를 위한 ‘Video to Music API’도 지원한다. 새롭게 추가된 매개변수를 이용하면 효과음 생성 여부와 음원 분리, 원본 오디오 참조 기능을 설정할 수 있다. 음악과 효과음을 각각 파일로 저장해 별도로 편집하는 것도 가능하다. 한 차례 요청으로 처리할 수 있는 영상은 최대 10개다.