추천 후보는 많을수록 좋을까? TopK를 최적화해 전환율을 높인 방법
Summary
추천 후보를 반으로 줄였더니 주문량이 10% 폭발했다? 토스가 밝힌 TopK 최적화의 비밀
직관과 경험을 넘어 수학적 조합 최적화로 랭킹 연산 비용과 비즈니스 지표를 한 번에 해결한 토스 쇼핑의 실무 엔지니어링 스토리
토스 Commerce Personalization 팀이 추천 시스템의 리트리벌 단계를 고도화하기 위해 다중 모델의 TopK 후보군 크기를 수학적으로 배분한 성공 사례입니다. 정수계획법을 적용해 랭킹 시스템의 부하를 줄이면서도 실질적인 매출 및 구매 효율을 끌어올렸으며, 전환율 최적화 과정에서 불가피하게 직면하는 '다양성 감소'라는 트레이드오프를 현명하게 극복해 나간 실무 최적화 프로세스를 투명하게 다룹니다.
- 01경험적으로 설정되던 리트리벌 모델별 후보 개수(TopK)를 배낭 문제 유형의 수학적 조합 최적화 문제로 재정의하여 해결
- 02예상 구매 가치인 pICVR(pCTR * pCVR) 지표를 바탕으로 실제 유저 로그 데이터를 분석해 모델별 고유 가치 곡선 산출
- 03단순히 단일 지표의 최댓값에 매몰되지 않고, 목적 함수와 비즈니스 수익성(RPU) 및 구매 전환율의 균형을 맞춰 최종 실험군 의사결정 진행
- 04전체 추천 후보군을 50%나 감축함으로써 서빙 지연 시간과 검증 비용을 낮추고 핵심 전환 지표(User CVR +7.55%)는 상승 구현
- 05추천 다양성 저하 문제를 인지하고 후속 실험에서 굼벨 가중 샘플링(Gumbel Weighted Sampling)을 적용해 노출 상품 다양성을 추가 개선
RECOMMENDATION
추천 모델 서빙 단계의 지연 시간(Latency) 단축과 인프라 비용 절감이 절실한 ML 엔지니어, 다중 리트리벌 결합 시 발생하는 비효율을 정교한 수학적 최적화로 풀어내고 싶은 데이터 사이언티스트에게 적극 권장합니다.
The Problem
토스 쇼핑의 추천 시스템에서 여러 리트리벌 모델의 TopK 후보 수가 경험적으로 설정되어 누적됨에 따라, 랭커의 연산 부하와 유효성 검사 비용이 증가하고 피드 생성 속도가 느려지는 성능 저하 문제가 발생했습니다.
The Solution
각 리트리벌 모델의 TopK 선정 문제를 배낭 문제(Knapsack Problem)로 정의하고 정수계획법(Integer Programming)을 적용하여, 전체 후보 수 예산 범위 내에서 예상 구매 가치(pICVR)의 합이 극대화되도록 모델별 후보 수를 유연하게 다변화하여 할당했습니다.
The Result
전체 추천 후보 수를 기존 대비 약 절반으로 줄였음에도 불구하고, 온라인 A/B 테스트에서 사용자 구매 전환율(User CVR)은 7.55%, 사용자당 주문 수는 10.13% 유의미하게 성장하는 결과를 확보했습니다.
Trade-off
예상 가치가 높은 상품 위주로 후보군이 좁혀지면서 클릭율(CTR)이 3.71% 감소하고 사용자당 노출되는 고유 상품 수가 22.07% 줄어드는 등 상품 다양성 및 탐색 기회가 감소하는 트레이드오프가 나타났습니다.
