KOEN
Read Original
#AI

모바일 피드 및 마케팅을 위한 다중 종횡비 비디오 리사이징 시스템

모바일 피드 및 마케팅을 위한 다중 종횡비 비디오 리사이징 시스템
01

Summary

넷플릭스가 16:9 영화를 모바일 숏폼 피드로 순식간에 재구성하는 비결

AI 기반 화자 추적과 시계열 카메라 최적화로 완성한 자동화 비디오 리프레이밍 아키텍처

넷플릭스는 12억 명의 소셜 미디어 팔로워와 모바일 앱 'Clips' 피드 지원을 위해 가로형 영상을 세로형 영상으로 자동 리프레이밍하는 멀티 종횡비 비디오 리사이징 시스템을 개발했습니다. 단순한 중앙 크롭을 넘어 AI가 주요 장면의 인물, 대화 상태, 카메라 움직임을 인식하여 자연스러운 가상 카메라 이동을 연출합니다. 이 시스템은 넷플릭스 내부 창작 도구 및 외부 에디터와 긴밀히 연동되어 제작 효율성을 크게 향상시킵니다.

  • 01신경망 기반 샷 감지 및 LipFlap 화자 인식 기술을 결합한 대화 장면 샷 자동 분할
  • 02얼굴 탐지 및 시각적 유의성(Saliency) 맵을 종합한 지능형 초점 영역(Focus Region) 설정
  • 03화면 떨림을 방지하고 부드러운 패닝 효과를 제공하는 시계열 경로 최적화 필터링
  • 04Adobe Premiere의 Auto Reframe 기능을 압도하는 자동 정렬 및 리프레이밍 품질
  • 05Adobe Premiere 등 외부 편집 도구로 직접 불러올 수 있는 XML 내보내기 지원

RECOMMENDATION

대규모 비디오 라이브러리를 보유하고 모바일용 숏폼 및 소셜 미디어 마케팅 영상을 효율적으로 제작하고자 하는 미디어 파이프라인 엔지니어와 영상 제작팀에 강력히 추천합니다.

The Problem

영화 및 비디오의 16:9 가로형 콘텐츠를 모바일 앱 피드 및 소셜 미디어를 위한 종횡비(9:16, 4:5, 1:1)로 수동 자르기 작업하는 방식은 콘텐츠 라이브러리 확장에 따른 수용 한계에 직면했습니다.

The Solution

샷 감지 및 화자 인식(Active Speaker Detection), 얼굴 감지 및 시각적 유의성 맵(Visual Saliency) 기반의 핵심 영역 탐지, 시계열 카메라 이동 최적화 알고리즘을 3단계 파이프라인으로 구축하고 내부 도구 및 Adobe Premiere XML 호환 기능을 통합했습니다.

The Result

단일 패스 알고리즘 실행으로 연산 오버헤드 없이 9:16, 4:5, 1:1 종횡비 영상 변환이 가능해졌으며, 내부 정량 평가에서 Adobe Premiere Auto Reframe 대비 향상된 크롭 품질을 달성하고 작업 시간을 단축했습니다.

Trade-off

자동화된 리사이징만으로는 창작자의 미세한 연출 의도를 완전히 대체할 수 없으므로, 작업자의 최종 검수와 세밀한 수동 조정을 위한 별도의 인터페이스 및 XML 내보내기 과정이 여전히 수반됩니다.

03

Key Concepts

Concept · 01

Active Speaker Detection

영상 내 여러 인물 중 현재 실제로 말을 하고 있는 화자를 시각 및 음향 신호를 활용해 추적하고 식별하는 컴퓨터 비전 기술입니다.

  • 내부 얼굴 감지기 및 LipFlap 모델을 결합하여 실사 및 애니메이션 타이틀에서 활성 화자를 정밀 탐지
  • 대화 주체에 따라 가상 카메라의 초점을 맞추기 위해 연속된 샷을 논리적인 서브 샷으로 분할 수행
Concept · 02

Focus Region Discovery

영상 프레임 내에서 시청자의 시선이 집중되어야 하는 가장 중요한 영역을 알고리즘으로 추정하고 합성하는 기술입니다.

  • 얼굴 감지 결과와 시각적 유의성(Visual Saliency) 맵을 결합하여 가상 카메라가 포착할 초점 영역 지정
  • 활성 화자 상태 및 인물 크기 등 맥락 신호를 종합하여 최우선 인물을 연속적으로 순위화
Concept · 03

Temporal Reframing

프레임 단위의 산발적인 자르기 위치 변화로 인한 화면 떨림을 방지하고 시간에 따른 자르기 박스의 이동 경로를 최적화하는 기법입니다.

  • 이동량이 적을 때 고정된 크롭 윈도우를 유지하여 시각적 안정성 확보
  • 큰 움직임이 발생할 때는 시계열 경로 스무딩을 적용하여 자연스러운 패닝 연출 구현