KOEN
Read Original
#Backend

모던 데이터 스택의 빠진 조각에 대한 넷플릭스의 해답, DataJunction

모던 데이터 스택의 빠진 조각에 대한 넷플릭스의 해답, DataJunction
01

Summary

넷플릭스가 데이터 지표 온보딩 시간을 몇 주에서 순식간으로 단축한 비결

모던 데이터 스택의 핵심 중앙 시맨틱 레이어, DataJunction 도입기

넷플릭스 실험 플랫폼팀이 파편화된 지표 정의와 복잡한 온보딩 프로세스를 해결하기 위해 오픈소스 시맨틱 레이어인 DataJunction을 도입한 여정을 다룹니다. 강력한 SQL 파싱 엔진과 그래프 데이터 모델을 기반으로 지표 정의를 표준화하고 다양한 분석 도구 및 LLM과의 연동성을 확보했습니다. 데이터 기반 의사결정 체계를 일관되게 유지하려는 엔지니어들에게 뛰어난 인사이트를 제공합니다.

  • 01지표 정의와 통계 계산 플랫폼을 완전히 분리하여 시스템 유연성 확보
  • 02연결된 그래프(Connected Graph) 구조로 메타데이터와 지표 간 차원 관계를 명확히 정의
  • 03API First 전략으로 전용 UI 없이도 강력한 시맨틱 레이어 핵심 기능 구축
  • 04Druid 및 Apache Superset과의 매끄러운 연동을 통한 역방향 추적 및 셀프서비스 분석 지원

RECOMMENDATION

지표 정의 중복 및 대시보드 신뢰성 문제로 고민하는 데이터 엔지니어 및 데이터 분석 팀에 추천합니다. 특히 중앙 집중식 시맨틱 레이어 구축을 검토 중인 데이터 아키텍트에게 실용적인 가이드를 제공합니다.

The Problem

넷플릭스의 기존 실험 플랫폼에서는 지표 정의가 파편화되어 있고 복잡한 엔지니어링 실무 및 암묵적 지식이 요구되어, 데이터 사이언티스트가 신규 지표를 온보딩하는 데 몇 주가 소요되었습니다.

The Solution

넷플릭스는 그래프 기반 메타데이터 저장 및 강력한 SQL 파싱/생성 엔진을 갖춘 오픈소스 시맨틱 레이어인 DataJunction(DJ)을 도입하였습니다. API 중심 아키텍처와 다차원 큐브(Cube) 개념을 적용하여 지표 정의와 통계 계산 플랫폼을 분리했습니다.

The Result

지표 정의 관리가 중앙화되어 신규 지표 온보딩 및 관리 공수가 단축되었고, Druid, Superset 등 내부/오픈소스 분석 도구와의 연동으로 실험 및 대시보드 분석의 신뢰성과 재사용성이 크게 향상되었습니다.

Trade-off

초기 리소스 부족으로 인해 프론트엔드 UI나 풍부한 부가 기능 개발을 후순위로 미루고, 핵심 시맨틱 엔진과 API 구축에만 선택적으로 집중해야 했습니다.

03

Key Concepts

Concept · 01

DataJunction (DJ)

지표와 차원의 표준 정의를 제공하고 SQL 파싱 및 생성을 담당하는 오픈소스 시맨틱 레이어 플랫폼입니다. 중앙 메타데이터 그래프를 활용하여 복잡한 비즈니스 지표를 통일된 표준으로 관리합니다.

  • 넷플릭스 실험 플랫폼의 파편화된 지표 정의를 통합하는 중앙 시맨틱 허브로 도입됨
  • 입력된 SQL을 파싱하여 메타데이터 그래프에 저장하고 클라이언트 요청에 따라 확장된 SQL을 생성함
Concept · 02

Semantic Layer (시맨틱 레이어)

복잡한 기본 데이터베이스 구조와 데이터 소비 영역 사이에서 일관된 비즈니스 용어 및 지표 정의를 중재하는 아키텍처 층입니다. 데이터 소스가 변경되어도 상위 애플리케이션의 일관성을 유지하도록 돕습니다.

  • 실험 및 분석 업무에 요구되는 복잡한 도메인 지식 요구사항과 지표 생성 마찰을 축소함
  • LLM 등 내부 AI 시스템에 검증된 지표 컨텍스트를 제공하는 기반으로 활용됨
Concept · 03

Multidimensional Cube (다차원 큐브)

데이터 분석 및 집계를 위해 공유 지표와 차원 컬렉션을 모아둔 다차원 데이터 구조입니다. 비즈니스 사용자가 직관적으로 데이터를 다룰 수 있도록 돕는 서빙 인터페이스 역할을 합니다.

  • DataJunction에서 핵심 서빙 프로토콜로 사용되어 시맨틱 정의 서빙과 고속 데이터 접근을 동시 수행함
  • Druid 클러스터 등에 직접 구체화(Materialize)되어 초고속 조회 분석을 가능하게 함