실험을 더 편하게 설계할 수 있게: 당근 실험플랫폼 이야기
Summary
월 290개 실험도 끄떡없다! 당근이 A/B 테스트 병목을 해결한 3가지 치트키
코딩 없는 지표 정의부터 LLM 에이전트를 활용한 자동화까지, 당근 실험플랫폼의 진화기
당근의 급격한 성장으로 실험 규모가 14배 이상 증가하면서 발생한 지표 정의 병목과 실험 간 간섭 문제를 해결하기 위해 실험플랫폼을 고도화했습니다. 누구나 코드 없이 UI에서 지표를 설계하고, 상호배제 슬롯 구조로 안전하게 동시 실험을 수행하며, LLM 기반의 MCP를 도입해 실험 등록과 분석 리드타임을 획기적으로 개선한 경험을 공유합니다.
- 01지표 등록 과정을 YAML/SQL 코드 작성에서 직관적인 UI 기반의 노코드 환경으로 전환하여 리드타임을 시간 단위에서 분 단위로 단축
- 021부터 10,000까지의 슬롯과 다중 레이어 구조를 활용한 상호배제 그룹을 구현하여 동일 지면 내 실험 간의 데이터 오염 방지
- 03Model Context Protocol(MCP) 기반의 Experiment MCP를 구축하여 LLM이 자연어 명세만으로 실험을 직접 설계 및 등록하도록 자동화
- 04검정력 보완을 위해 CUPED 분산 감소 기법을 활용하여 상호배제로 인한 표본 수 감소 문제에 대응
- 05에이전트가 BigQuery 등의 데이터 인프라와 결합하여 심층적인 실험 후속 분석(코호트 슬라이싱 등)까지 자율 수행 가능하도록 확장
RECOMMENDATION
A/B 테스트의 폭발적인 증가로 지표 승인 및 인프라 병목을 겪고 있는 데이터 플랫폼 조직이나, AI 에이전트를 실무 데이터 파이프라인에 이식하고자 하는 개발자들에게 강력히 추천합니다.
The Problem
실험 규모가 급증하면서 지표 정의를 코드로 처리하는 과정에 심각한 병목이 발생했고, 동일 지면에서 여러 실험이 동시에 진행될 때 상호 간섭으로 인해 인과 추론의 정확도가 떨어지는 문제가 발생했습니다.
The Solution
실험플랫폼 UI를 통해 코드 없이 지표를 등록하는 환경을 제공하고, 슬롯 및 레이어 기반의 상호배제 그룹 기능을 도입하여 실험 간 간섭을 분리했으며, LLM 기반의 Experiment MCP를 설계해 실험 설계와 등록 과정을 자동화했습니다.
The Result
지표 정의 및 등록 시간이 기존 1~2시간에서 수 분으로 단축되었으며, 충돌 없는 안전한 동시 실험이 가능해졌고, LLM 에이전트 도입으로 실험 생성 및 분석 리드타임이 단축되고 진입장벽이 낮아졌습니다.
Trade-off
상호배제 그룹을 통해 슬롯을 나누어 사용하면 각 실험에 배정되는 표본 수가 감소하여 통계적 검정력이 저하되는 한계가 존재하며, 이를 보완하기 위해 CUPED 기법을 병행 사용해야 합니다.
Key Concepts
More from 당근
View all posts from 당근당근의 인증은 어떻게 달라져 왔을까요?
OAuth 2.0OIDCSSO1주 전Laying the Rails Beyond WebView: Why Karrot Chose Lynx
LynxWebViewPerformance2주 전웹뷰 다음의 레일을 깔다: 당근이 Lynx를 선택한 이유
LynxReactQuickJS2주 전프론트엔드와 백엔드를 한 팀으로 합치면 어떤 일이 일어날까?
Team TopologyCross FunctionalAI Coding1개월 전천만 MAU를 지탱하는 커뮤니티 시스템을 소개해요
Modular MonolithStreaming SSROpenAPI1개월 전
