리퀘스트 단위 중복 제거를 통한 추천 시스템 스케일링
Summary
핀터레스트는 어떻게 추천 모델 서빙 처리량을 7배나 높였을까?
리퀘스트 단위 중복 제거로 인프라 비용은 잡고 모델 규모는 100배 키운 엔지니어링 전략
이 아티클은 핀터레스트가 거대해진 추천 모델을 효율적으로 운영하기 위해 도입한 '리퀘스트 단위 중복 제거' 기술을 다룹니다. 저장, 학습, 서빙 전 과정에서 발생하는 데이터 중복을 제거하여 얻은 압도적인 성능 향상 수치와 그 과정에서 마주한 기술적 난제들의 해결법을 상세히 공유합니다.
- 01Apache Iceberg와 리퀘스트 정렬을 통한 최대 50배의 저장 공간 압축
- 02IID 붕괴 문제를 해결하고 모델 성능을 복구한 SyncBatchNorm 도입
- 03검색 모델의 품질 저하를 막는 사용자 레벨 identity 마스킹 기법
- 04트랜스포머의 연산을 분리해 효율을 극대화한 DCAT 아키텍처 개발
- 05커스텀 Triton 커널을 활용한 서빙 레이턴시 및 처리량 최적화
RECOMMENDATION
대규모 사용자 시퀀스 데이터를 다루는 추천 시스템 엔지니어나, 모델 규모 확장에 따른 인프라 비용 최적화가 고민인 시스템 아키텍트에게 강력히 추천합니다.
The Problem
추천 모델의 규모가 커지면서 리퀘스트당 수천 개의 아이템에 대해 동일한 사용자 시퀀스 데이터가 중복 처리 및 저장되어 인프라 비용과 부하가 기하급수적으로 증가하는 문제가 발생했습니다.
The Solution
데이터 저장 시 리퀘스트 ID 기반 정렬과 Apache Iceberg를 활용하고, 학습 시 SyncBatchNorm과 사용자 레벨 마스킹을 도입했으며, 서빙 효율을 위해 DCAT(Deduplicated Cross-Attention Transformer) 아키텍처를 적용했습니다.
The Result
저장소 10~50배 압축, 학습 속도 최대 4배 향상, 서빙 처리량 7배 증가를 달성하여 모델 규모를 100배 키우면서도 인프라 비용을 효과적으로 관리했습니다.
Trade-off
리퀘스트 단위 정렬 시 독립 동일 분포(IID) 가정이 깨져 배치 통계가 불안정해지고 검색 모델에서 가짜 음성(False Negative) 비율이 상승하는 부작용이 있어 추가적인 보정 기술이 필요했습니다.
Key Concepts
More from Pinterest
View all posts from Pinterest핀터레스트 홈 피드를 위한 조건부 학습 검색(CLR) 확장하기
Recommendation SystemsLearned RetrievalTransformer3일 전피너의 성장: 핀터레스트의 주간 활성 사용자 증가를 이끄는 유스케이스 표현 개선 사례
Recommendation SystemsClusteringEmbeddings1개월 전대규모 인프라 보안 확보: 핀터레스트의 리소스 프로비저너 파이프라인(RPP) 도입기
TerraformAWSGitHub Actions1개월 전핀터레스트 파운데이션 모델을 위한 선형에 가까운 학습 확장성 달성
Distributed TrainingPyTorchNCCL2개월 전핀터레스트의 차세대 DB 인제스션 프레임워크 내 자동화된 스키마 진화
CDCApache IcebergFlink2개월 전
Related reads#RecommendationSystems
Explore #RecommendationSystems
MAPS: 넷플릭스의 대규모 멀티모달 에셋 개인화
핀터레스트 홈 피드를 위한 조건부 학습 검색(CLR) 확장하기
GenRec: 넷플릭스의 LLM 네이티브 추천 시스템을 향하여
피너의 성장: 핀터레스트의 주간 활성 사용자 증가를 이끄는 유스케이스 표현 개선 사례