KOEN
Read Original
#DevOps

대규모 학습 및 추론 작업을 위한 신뢰할 수 있는 GPU 컴퓨팅

대규모 학습 및 추론 작업을 위한 신뢰할 수 있는 GPU 컴퓨팅
01

Summary

수백 개의 GPU가 다운되어도 살아남는 넷플릭스의 결함 허용 AI 인프라 비결

하드웨어 감지부터 자동 복구까지, 넷플릭스가 GPU 가용성을 99.95%까지 끌어올린 4단계 아키텍처

넷플릭스는 대규모 ML 학습과 추론 작업의 안정성을 확보하기 위해 GPU 및 네트워크 하드웨어의 미세한 결함을 감지하고 자동으로 복구하는 자율 인프라를 구축했습니다. 단순 드라이버 응답 체크를 넘어 커널 로그 직접 검사, 단계별 자동 교정(Graded Remediation), Karpenter 기반 자동 교체를 결합했습니다. 이 글은 거대한 GPU 클러스터에서 자원 낭비를 줄이고 작업 성공률을 99.5% 이상으로 개선한 실무 기술 노하우를 다룹니다.

  • 01드라이버 먹통 시 dmesg 커널 로그를 직접 조회하는 Fallback 메커니즘 구축
  • 02GPU 리셋, 호스트 재부팅, 노드 파기까지 장애 수준별로 대응하는 단계별 자동 교정(Graded Remediation)
  • 03Karpenter Node Auto-repair 커스터마이징을 통한 노드 상태별 유예 시간 및 클러스터 파기 방지 캡 적용
  • 04GPU 가용성 99.95% 이상 및 작업 성공률 98%에서 99.5% 이상으로 대폭 상승 달성

RECOMMENDATION

대규모 GPU 클러스터를 운영하거나 ML 분산 학습 장애로 고민하는 엔지니어링 팀에게 추천합니다. 특히 Kubernetes 환경에서 Karpenter와 Node Problem Detector를 조합해 하드웨어 장애 대응을 자동화하려는 플랫폼 엔지니어에게 유용한 가이드를 제공합니다.

The Problem

넷플릭스의 대규모 ML 모델 학습 및 추론 과정에서 수백 개의 GPU 중 단 하나의 장치나 네트워크 링크만 고장 나도 전체 동기화 작업(gang scheduling)이 지연되거나 중단되는 문제가 발생했습니다. 기존 클라우드 인스턴스 수준의 기본 헬스 체크나 단순 드라이버 응답 확인 방식은 온칩 메모리 오류, 부분적 네트워크 대역폭 저하, 드라이버 멈춤 등 실제 작업 처리 시 발생하는 숨은 결함을 감지하지 못했습니다.

The Solution

넷플릭스는 하드웨어 감지, 스케줄러 자동 복구, 체크포인트 기반 이중화, 관측 가능성의 4단계 신뢰성 아키텍처를 구축했습니다. Kubernetes Node Problem Detector 및 NVIDIA DCGM/EFA 기반 2단계 헬스 체크를 도입하고, Karpenter 컨트롤러를 커스텀하여 드라이버 리셋부터 노드 교체까지 단계별 자동 교정(Graded Remediation) 시스템을 적용했습니다.

The Result

GPU 노드 가용성을 지속적으로 99.95% 이상으로 유지할 수 있게 되었으며, 학습 및 추론 작업 성공률을 기존 약 98%에서 99.5% 이상으로 대폭 향상시켰습니다.

Trade-off

장애 노드 감지 검사가 완전히 정착될 때까지 작업 할당을 유예하므로 노드 투입 속도가 소폭 느려지며, 헬스 체크 로직 자체의 버그 발생 시 전체 클러스터가 재부팅되는 위험을 막기 위해 차단 임계값 설정 등 추가 관리가 필요합니다.

03

Key Concepts

Concept · 01

Node Problem Detector (NPD)

Kubernetes 노드에서 배경 프로세스로 실행되며 하드웨어 및 OS 수준의 이상 징후를 감지해 노드 조건(Node Conditions)으로 변환하는 오픈소스 에이전트입니다.

  • 넷플릭스는 NPD 기반 노드 에이전트를 모든 GPU 노드에 배치하여 30초마다 디바이스 상태를 주기적으로 검사합니다.
  • DCGM 및 EFA 네트워크 어댑터 진단 결과를 Kubernetes Node Condition 상태로 갱신합니다.
Concept · 02

Graded Remediation (단계별 자동 교정)

발생한 하드웨어 결함의 심각도에 따라 작업 강제 종료, GPU 개별 리셋, 시스템 재부팅, 노드 종료 및 교체 등 최적의 복구 동작을 단계별로 수행하는 전략입니다.

  • 단순 소프트웨어 멈춤이나 일시적 GPU 결함은 리셋 및 재부팅으로 수분 내에 복구하여 노드 전체 교체 비용을 절감합니다.
  • 지속되거나 하드웨어 물리 결함으로 확인된 노드는 Evacuation 및 Karpenter 기반 노드 재생성 조치를 실행합니다.
Concept · 03

NVIDIA DCGM (Data Center GPU Manager)

NVIDIA 데이터센터 GPU의 상태, 온칩 메모리 오류, 온도를 모니터링하고 진단할 수 있도록 제공되는 도구 집합입니다.

  • GPU 하드웨어 드라이버 수준의 에러 코드, 복구 불가능한 메모리 에러, 인터커넥트 상태를 확인하는 데 활용됩니다.
  • DCGM 툴 자체가 멈출 경우를 대비해 dmesg 로그를 직접 읽는 구조를 추가하여 신뢰성을 확보했습니다.