KOEN
Read Original
#AI

MediaFM: 넷플릭스의 미디어 이해를 위한 멀티모달 AI 파운데이션 모델

MediaFM: 넷플릭스의 미디어 이해를 위한 멀티모달 AI 파운데이션 모델
01

Summary

넷플릭스가 콘텐츠를 '보는' 법: 3가지 감각을 하나로 합친 'MediaFM' 공개

비디오, 오디오, 자막을 넘어 서사적 문맥까지 파악하는 차세대 멀티모달 파운데이션 모델의 탄생

넷플릭스는 수천만 개의 샷을 분석하여 콘텐츠의 깊은 의미를 포착하는 자사 최초의 트리 모달(Tri-modal) 모델 MediaFM을 선보였습니다. 이 모델은 단순히 영상을 분석하는 것을 넘어 오디오와 자막을 결합하고 샷 간의 관계를 학습함으로써, 광고 최적화부터 흥행 예측까지 넷플릭스 서비스 전반의 지능을 한 단계 높였습니다.

  • 01비디오, 오디오, 텍스트를 하나로 융합한 트리 모달(Tri-modal) 아키텍처 구현
  • 02BERT 스타일의 트랜스포머를 활용한 Masked Shot Modeling 자가 지도 학습 기법 적용
  • 03타이틀 레벨 메타데이터를 [GLOBAL] 토큰으로 주입하여 거시적 문맥 반영 능력 강화
  • 04Muon 최적화 도구 도입을 통해 학습 성능 및 수렴 속도 개선
  • 05외부 상용 AI 모델들을 압도하는 넷플릭스 도메인 특화 임베딩 성능 입증

RECOMMENDATION

멀티모달 데이터 처리 및 서사 구조가 중요한 미디어 콘텐츠 분석 시스템을 설계하려는 AI 엔지니어와 데이터 과학자들에게 강력히 추천합니다.

The Problem

넷플릭스의 방대한 카탈로그에서 서사적 의존성이나 감정적 흐름과 같은 미세한 뉘앙스를 기계 수준에서 확장성 있게 이해해야 하는 필요성이 대두되었습니다. 특히 라이브 이벤트와 팟캐스트 등 새로운 유형의 콘텐츠가 늘어남에 따라 비주얼, 오디오, 텍스트를 통합적으로 파악하는 것이 서비스 운영의 핵심 과제가 되었습니다.

The Solution

비디오(SeqCLIP), 오디오(wav2vec2), 텍스트(OpenAI)의 세 가지 모달리티를 결합한 트랜스포머 기반 인코더 모델 'MediaFM'을 개발했습니다. 자가 지도 학습 방식인 Masked Shot Modeling(MSM)을 통해 샷 간의 시간적 관계를 학습하며, 타이틀 레벨 메타데이터를 [GLOBAL] 토큰으로 주입하여 전체 문맥을 반영하도록 설계했습니다.

The Result

기존의 단일 모달리티 모델이나 외부 상용 모델(Google VertexAI, TwelveLabs) 대비 광고 관련성, 클립 인기 예측, 장르 분류 등 모든 평가 지표에서 우수한 성능을 기록했습니다. 실험을 통해 단순한 모달리티의 결합보다 '문맥화(Contextualization)' 과정이 서사 이해도 향상에 더 결정적인 기여를 함을 입증했습니다.

Trade-off

대화가 없는 구간 등 텍스트 데이터가 누락된 경우 제로 패딩(Zero-padding)에 의존해야 하며, 모듈화와 유연성을 위해 모델 가중치를 동결한 채 선형 프로브를 사용하는 방식을 선택함으로써 특정 작업에 대한 종단 간(End-to-End) 최적화 폭은 제한될 수 있습니다.

03

Key Concepts

Concept · 01

Masked Shot Modeling (MSM)

입력 시퀀스 중 일부 샷을 마스킹하고 주변 정보를 바탕으로 원래의 임베딩을 예측하는 자가 지도 학습 방식입니다.

  • 전체 시퀀스의 20%를 무작위로 마스킹하여 학습에 활용함
  • 코사인 유사도를 손실 함수로 사용하여 예측값과 실젯값 사이의 오차를 최소화함
Concept · 02

Tri-modal Fusion

비디오, 오디오, 텍스트(자막)라는 세 가지 상이한 데이터 소스를 하나의 벡터 공간으로 결합하는 기술입니다.

  • SeqCLIP, wav2vec2, OpenAI 임베딩을 결합하여 2304 차원의 단일 벡터 생성
  • 대화가 없는 샷 등 데이터 누락 시 제로 패딩을 통해 입력 규격을 유지함
Concept · 03

Contextualization

개별 데이터 포인트를 독립적으로 처리하지 않고, 주변 시퀀스와의 관계를 통해 의미를 풍부하게 만드는 과정입니다.

  • 트랜스포머의 셀프 어텐션을 통해 특정 클립이 전체 에피소드 내에서 갖는 서사적 의미를 파악
  • 실험 결과 단순 모달리티 추가보다 문맥 파악이 성능 향상에 더 핵심적인 역할을 수행함