ML 워크로드 네트워크 효율성 최적화 (Part I): Feature Trimmer
Summary
핀터레스트가 ML 네트워크 트래픽을 50%나 줄인 비결: 'Feature Trimmer' 도입기
네트워크 병목을 뚫고 GPU 효율을 극대화하는 'Send What You Use' 전략의 모든 것
본 아티클은 대규모 ML 서빙 환경에서 발생하는 네트워크 병목 현상을 해결하기 위한 핀터레스트 엔지니어링 팀의 여정을 담고 있습니다. 불필요한 피처 전송을 차단하는 Feature Trimmer 기술과 모델 서명(Signature) 기반의 자동화된 동기화 프로세스를 통해 인프라 비용 절감과 시스템 성능 향상을 동시에 달성한 사례를 소개합니다.
- 01네트워크 대역폭이 GPU 연산 성능 활용을 가로막는 병목 지점임을 식별
- 02LZ4 압축을 통한 즉각적인 20% 네트워크 대역폭 절감 달성
- 03모델별 필요한 피처만 전송하는 'Feature Trimmer' 아키텍처 설계
- 04모델 학습 단계에서 추출된 module_info.json을 활용한 데이터 '소스 오브 트루스' 확보
- 05복잡한 모델 배포 주기 속에서도 정합성을 유지하는 설정 동기화 파이프라인 구축
RECOMMENDATION
대규모 트래픽을 처리하는 ML 서빙 인프라 운영자라면, 네트워크 I/O가 GPU 성능의 발목을 잡고 있지는 않은지 확인해 보시기 바랍니다. 모델 사양을 기반으로 한 데이터 전송 최적화는 인프라 비용을 획기적으로 줄일 수 있는 강력한 방법입니다.
The Problem
핀터레스트의 ML 서빙 시스템은 Root-Leaf 아키텍처를 사용하는데, Root에서 모든 기능을 가져와 Leaf로 전달하는 과정에서 네트워크 대역폭이 병목 현상을 일으켜 GPU 연산 자원을 완전히 활용하지 못하는 문제가 발생했습니다.
The Solution
모델의 입력 사양(Model Signature)을 기반으로 필요한 피처만 선별하여 전송하는 'Feature Trimmer'를 도입하고, fbthrift RPC 프레임워크에 LZ4 압축을 적용하여 데이터 전송량을 최소화했습니다.
The Result
LZ4 압축으로 네트워크 사용량을 20% 절감했으며, Feature Trimmer 도입을 통해 네트워크 사용량을 약 50%까지 줄여 고가의 네트워크 최적화 인스턴스(m6in) 대신 일반 인스턴스(m6i)를 사용할 수 있게 되어 비용 효율성을 높였습니다.
Trade-off
압축 및 트리밍 과정에서 약 5%의 CPU 사용량 증가와 p90 기준 5ms(약 10%)의 지연 시간(Latency) 증가가 발생했으며, 모델 배포와 설정 동기화의 복잡도가 다소 상승했습니다.
Key Concepts
More from Pinterest
View all posts from Pinterest핀터레스트 홈 피드를 위한 조건부 학습 검색(CLR) 확장하기
Recommendation SystemsLearned RetrievalTransformer3일 전피너의 성장: 핀터레스트의 주간 활성 사용자 증가를 이끄는 유스케이스 표현 개선 사례
Recommendation SystemsClusteringEmbeddings1개월 전대규모 인프라 보안 확보: 핀터레스트의 리소스 프로비저너 파이프라인(RPP) 도입기
TerraformAWSGitHub Actions1개월 전핀터레스트 파운데이션 모델을 위한 선형에 가까운 학습 확장성 달성
Distributed TrainingPyTorchNCCL2개월 전핀터레스트의 차세대 DB 인제스션 프레임워크 내 자동화된 스키마 진화
CDCApache IcebergFlink2개월 전
Related reads#MachineLearning
Explore #MachineLearning
코로나19의 종식을 알게 된 방법 (그리고 우리 모델이 잊어야 했던 것들)
MATCH란 무엇인가
콘텐츠 런칭 리스크 예측: 데이터 기반 인사이트를 통한 서비스 준비 과정의 혁신
개인화된 알림 시스템을 위한 생각에 관한 생각(Thinking Fast & Slow)