KOEN
Read Original
#Backend

넷플릭스 컨덕터: 새로운 도약과 기술적 진화

넷플릭스 컨덕터: 새로운 도약과 기술적 진화
01

Summary

분기당 10억 건의 워크플로를 삼키는 넷플릭스 Conductor 4.0 분산 오케스트레이션 재설계기

오픈소스 중단 선언 뒤에서 일어난 Cassandra 이전과 파티션 데이터 모델 기반의 압도적 성능 혁신

넷플릭스는 Conductor OSS 공개 지원을 종료한 후 내부 시스템을 완전히 처음부터 재건축했습니다. 미디어 제작, 광고, 게임 등 글로벌 서비스 전반으로 확장되는 동시성 요청을 소화하기 위해 데이터 플레인을 현대화하고 평가 엔진을 비동기화했습니다. 이 글은 동기식 락 경합을 제로로 만들고 10배 이상의 스케일아웃을 달성한 넷플릭스 엔지니어링의 정수를 보여줍니다.

  • 01단일 워크플로당 최대 태스크 처리 용량을 2,500개에서 30,000개로 10배 이상 확장
  • 02Cassandra LWT 락을 제거하고 상태 파티션(Pending/Terminal) 분리 및 애플리케이션 계층 조율로 경쟁 상태 해결
  • 03Timestone Exclusive Queue 기반의 비동기 평가 엔진을 통해 p99 평가 지연 시간을 40% 단축
  • 04Titus(컨테이너) 및 Stratum(서버리스) 연동을 통한 관리형 서버리스 태스크 실행 지원
  • 05실시간 큐 깊이(Queue Depth) 기반 동적 스레드 할당 알고리즘 적용

RECOMMENDATION

대규모 미로형 미크로서비스 아키텍처에서 동기식 작업 스케줄링 병목과 데이터베이스 락 경합으로 고통받는 백엔드 및 인프라 엔지니어에게 적극 추천합니다.

The Problem

넷플릭스의 워크플로 오케스트레이션 엔진인 Conductor는 초당 대규모 워크플로를 처리하며 기존 Dynomite 기반 메모리 저장소의 메모리 한계, 동기식 평가 엔진으로 인한 잠금 경합, 단일 파티션 데이터 모델의 메모리 압박 문제에 직면했습니다.

The Solution

실행 데이터를 Cassandra로 이전하고 고성능 우선순위 큐 Timestone을 도입했으며, Conductor 4.0 재설계를 통해 워크플로 메타데이터와 태스크 데이터를 분리한 파티션 데이터 모델 및 Timestone 기반 비동기 평가 엔진을 도입했습니다.

The Result

단일 워크플로당 처리 가능한 최대 태스크 수가 2,500개에서 30,000개로 10배 이상 증가하였고, p99 워크플로 평가 지연 시간이 약 40% 감소했으며 잠금 획득 실패 현상이 사실상 0건으로 감소했습니다.

Trade-off

오픈소스 프로젝트(Conductor OSS) 지원을 중단하고 내부 포크에 전념하게 되었으며, 전용 인프라(Cassandra, Timestone, Titus, Stratum)에 대한 의존성이 깊어져 시스템 전체의 아키텍처 복잡성이 증가했습니다.

03

Key Concepts

Concept · 01

Timestone

넷플릭스가 자체 개발한 고성능, 저지연 우선순위 큐 시스템입니다. 기존 DynoQueues를 대체하며 지연 큐잉 및 백그라운드 자가 복구 메커니즘을 제공합니다.

  • Dynomite 메모리 저장소 의존성을 제거하고 대규모 스케줄링을 안정화했습니다.
  • 비동기 평가 엔진의 독점 큐(Exclusive Queue) 기반으로 활용되어 락 경합을 방지합니다.
Concept · 02

Partitioned Task Model

워크플로의 메타데이터와 개별 태스크 데이터를 분리하여 저장하는 새로운 데이터 구조입니다. 전체 상태 그래프를 읽지 않고 블루프린트와 필요한 태스크만 메모리에 로드합니다.

  • 평가 시 메모리 사용량을 대폭 절감하여 태스크 처리 한계를 10배 이상 올렸습니다.
  • Pending 및 Terminal 파티션을 분리하여 잠금 없이 경합 업데이트를 안전하게 처리합니다.
Concept · 03

Async Workflow Evaluation

이벤트 트리거 시 동기적으로 워크플로 락을 잡고 평가하던 방식 대신, 이벤트를 큐에 넣고 비동기 평가기가 순차 처리하도록 분리한 아키텍처 패턴입니다.

  • 동일 워크플로에 대량의 동시 업데이트가 발생할 때 생기는 락 경쟁 및 꼬리 지연 시간(Tail Latency)을 제거했습니다.
  • 트래픽 폭주 시 락 획득 실패 건수를 사실상 0으로 감소시켰습니다.