#AI

LLM-as-a-Judge를 활용한 넷플릭스 작품 시놉시스 평가

Summary

창의적 글쓰기 평가를 자동화하고 비즈니스 지표까지 예측하는 넷플릭스의 고도화된 LLM 전략

넷플릭스가 방대한 콘텐츠의 시놉시스 품질을 유지하기 위해 개발한 LLM 기반 자동 평가 시스템을 소개합니다. 단순한 텍스트 분석을 넘어 전문 작가의 주관적 기준을 정량화하고 실제 사용자 데이터와의 상관관계를 검증한 상세한 기술적 여정을 담고 있습니다.

LLM을 활용해 정성적인 콘텐츠의 품질을 검사하거나 대규모 평가 자동화 시스템을 설계해야 하는 데이터 엔지니어 및 AI 개발자에게 필독을 권장합니다.

넷플릭스는 수십만 개의 작품 시놉시스를 보유하고 있으나, 수동으로 품질을 검증하는 방식은 확장성 한계가 있었으며 일관되지 않은 시놉시스는 사용자 이탈의 원인이 되었습니다.

전문 작가의 평가 기준을 반영한 LLM-as-a-Judge 시스템을 구축하고, 티어드 추론(Tiered Rationales), 컨센서스 스코어링, 멀티 에이전트 기반 팩트 체크 기법을 도입했습니다.

전문 작가와 85% 이상의 일치율을 달성했으며, LLM이 산출한 품질 점수가 실제 시청 전환율(Take Fraction) 및 이탈률(Abandonment Rate) 지표와 높은 상관관계가 있음을 입증했습니다.

Trade-off

높은 성능을 보인 전용 추론 모델(Reasoning Models)은 비용 대비 효율성이 낮아 최종 시스템에서 제외되었으며, 추론 과정을 길게 설정할수록 정확도는 높지만 가독성이 떨어지는 트레이드오프가 발생했습니다.

Concept · 01

LLM이 사전에 정의된 평가지표(Rubric)에 따라 텍스트의 품질을 평가하고 점수를 매기는 방식입니다.

Concept · 02

모델이 복잡한 추론 과정을 길게 수행하도록 유도하되, 최종 결과물은 요약된 핵심 근거와 함께 제공하는 방식입니다.

Concept · 03

동일한 질문에 대해 여러 번 답변을 생성하고 그 결과들을 종합하여 최종 판단의 일관성을 높이는 기법입니다.

Continue reading · same source