게스트 여정 학습을 통한 에어비앤비 검색 개인화
Summary
수백 개 피처 노가다 끝! 에어비앤비가 트랜스포머로 게스트의 7년 여정을 인코딩한 방법
데이터 처리 효율 4배 상승과 예약 전환율 극대화를 동시에 달성한 에어비앤비의 영리한 오프라인-온라인 분리 서빙 아키텍처
이 아티클은 에어비앤비가 기존의 단순 요약 피처에서 탈피하여 트랜스포머 시퀀스 모델을 구현해 전 세계 검색 경험을 개선한 혁신 여정을 다룹니다. 장기 예약 데이터와 단기 행동 패턴을 유기적으로 연계하고 대규모 연산 처리를 실현한 배치 최적화 및 추론 최적화의 기술적 정수를 엿볼 수 있습니다.
- 017년 치 장기 이력과 21일 치 단기 이력을 유기적으로 정제 및 분할 연계한 맞춤형 데이터 설계
- 02동일 세션 내 중복 연산을 단 한 번의 forward pass로 묶어 처리하는 검색 배치화 기술로 트레이닝 효율 4배 증대
- 03연산 지연이 큰 트랜스포머 인코더를 오프라인 배치로 격리하고 실시간 서빙 레이어를 초경량화한 영리한 아키텍처
- 04단일 아이템 점수 산정 방식에서 벗어나 노출 그룹 간 상대 비교를 수행하는 셋와이즈 랭커 전격 도입
- 05검색 환경뿐만 아니라 이메일 추천 시스템에서도 클릭률 5.04%를 끌어올린 범용 임베딩 기술 구축
RECOMMENDATION
사용자의 긴 도메인 탐색 주기와 대용량 이력 처리가 필요하면서도 실시간 서빙 레이턴시 제한이 엄격한 환경에 있다면 에어비앤비의 오프라인 임베딩 캐싱 및 온라인 경량 매칭 아키텍처를 추천합니다.
The Problem
에어비앤비의 기존 검색 랭킹 시스템은 수백 개의 수작업 피처 어그리게이션에 의존하여 확장에 한계가 있었고 게스트 여정의 복잡한 맥락을 충분히 반영하지 못했습니다. 또한 데이터의 97.8%가 단순 조회에 치우치고 예약 신호는 매우 희소하여 모델 학습 및 비용 최적화가 까다로웠습니다.
The Solution
장기 이력(7년 이내, 80개 제한)과 단기 조회(21일 이내, 200개 제한)를 분리하여 입력하는 트랜스포머 기반 JourneyFormer 아키텍처를 도입했습니다. 단일 순방향 연산으로 여러 검색 시점의 임베딩을 구하는 '검색 배치화(batching of searches)' 및 패딩 최소화 기법으로 학습 효율을 높였으며, 무거운 인코더 연산은 오프라인 배치로 분리하고 실시간 서빙 시에는 경량 랭커만 타겟팅하는 구조로 설계했습니다.
The Result
장단기 시퀀스와 셋와이즈 랭커가 결합된 최종 모델을 통해 오프라인 NDCG가 총 3.78% 개선되는 고무적인 결과를 얻었습니다. 온라인 A/B 테스트에서도 예약 고객 비율 +0.55%, 예약 숙박 일수 +0.82%의 유의미한 성장을 보였으며 프로모션 메일 추천에서도 클릭률이 5.04% 증가하며 높은 범용성을 보여주었습니다.
Trade-off
실시간 레이턴시 저하를 방지하기 위해 장단기 시퀀스 인코더를 하루 한 번 오프라인 배치 작업으로 구동하므로 사용자의 당일 실시간 활동 로그가 장기적 표현에 반영되기까지 지연이 존재합니다. 또한 모델 최적화를 위해 데이터 시퀀스 길이를 인위적으로 80개와 200개로 한계 설정하여 고활동 사용자의 극 일부 데이터가 제외되는 트레이드오프가 존재합니다.
Key Concepts
More from Airbnb
View all posts from Airbnb프로젝트 라이트하우스 3부 — project-lighthouse-anonymize를 소개합니다
Data PrivacyAnonymizationPython4일 전코로나19의 종식을 알게 된 방법 (그리고 우리 모델이 잊어야 했던 것들)
ForecastingBayesian MethodsMachine Learning1주 전유연한 인증(Flexible Authentication): 에어비앤비의 수백만 사용자를 위한 인증 시스템 재설계
Server-Driven UIAuthenticationMobile Architecture2주 전평가 주도 개발: 대규모 GenAI 평가를 통해 얻은 교훈
LLM EvaluationGenerative AIEval-Driven Development1개월 전몇 주에서 단 하루로: LLM 평가를 빠르게 반복 가능하도록 개선한 방법
LLM EvaluationLoRACaching1개월 전
Related reads#Transformer
Explore #Transformer
핀터레스트 홈 피드를 위한 조건부 학습 검색(CLR) 확장하기
GenPage: 넷플릭스의 엔드 투 엔드 생성형 홈 화면 구축을 향한 여정
더 정교한 AI 비디오 편집을 향하여: 넷플릭스의 초기 연구 탐색
AI, 고객 행동의 순서를 읽다: 카카오뱅크 시퀀스 기반 FDS 모델 개발기
