KOEN
Read Original
#AI

CASTLE: 첫 번째 실제 검색 쿼리가 발생하기 전 자연어 검색 모델을 학습시키는 방법

CASTLE: 첫 번째 실제 검색 쿼리가 발생하기 전 자연어 검색 모델을 학습시키는 방법
01

Summary

검색 데이터 ‘0개’에서 시작하는 에어비앤비의 AI 자연어 검색 모델 학습법

실제 유저 예약 행동 패턴과 LLM 프롬프팅을 결합해 검색 콜드 스타트 문제를 정교하게 해결한 CASTLE 프레임워크

에어비앤비 엔지니어링 팀은 첫 실제 검색 쿼리가 입력되기 전 자연어 검색 모델을 고도화할 수 있는 CASTLE 프레임워크를 CIKM 2026에서 발표했습니다. 유저의 익명화된 클릭/예약 이력에서 추출한 대조 숙소 쌍을 기반으로 LLM이 현실적인 쿼리를 생성하게 함으로써 합성 데이터와 실제 유저 검색 간의 격차를 극적으로 줄였습니다. 이 글은 AI 파이프라인 구축 시 검색 관련성 레이블을 노이즈 없이 자동 생성하고, 롱테일 의도까지 정교하게 학습시키는 실무 노하우를 제공합니다.

  • 01KL 발산 1.01 달성: 기존 최고 기준 모델(9.33) 대비 9.2배 향상된 사용자 검색 분포 유사도 확보
  • 02자동 레이블링 보장: 양성/음성 숙소 대조 구조를 통해 추가 검증 과정 없이 자연스러운 관련성 레이블 자동 부여
  • 03현실적인 단어 길이 분포 구현: 단어 수 표준편차 2.48을 기록하여 획일적인 짧은 문장 생성을 방지하고 실제 유저의 검색 호흡 구현
  • 04롱테일 데이터 커버리지 확대: 실제 유저 트래픽이 쌓인 후에도 드물게 발생하는 특수 속성/조합 검색에 대한 검색 품질 유지 효과 입증

RECOMMENDATION

자연어 검색이나 추천 시스템을 제로베이스에서 도입하려는 AI/검색 엔지니어 및 LLM 기반 합성 데이터 파이프라인을 구축하려는 백엔드 아키텍트에게 강력히 추천합니다.

The Problem

에어비앤비에서 필터 검색 대신 자연어 검색을 새로 도입할 때, 실제 사용자 검색 쿼리 로그와 이에 대응하는 관련성 레이블(Relevance Label) 데이터가 존재하지 않아 검색 모델을 사전 학습시킬 수 없는 콜드 스타트 문제에 직면했습니다. 기존의 InPars나 Promptagator 같은 생성 방식은 합성 쿼리의 분포가 실제 사용자 검색 패턴과 크게 격차를 보이거나, 관련성 레이블을 지정하기 위해 추가적인 LLM 판정을 거치며 오차가 누적되는 한계가 있었습니다.

The Solution

익명화된 이전 예약 세션에서 유저가 비교 후 최종 선택한 숙소 쌍(양성/음성 대조 쌍)을 활용하여 쿼리 생성과 관련성 레이블링을 동시에 수행하는 CASTLE 프레임워크를 개발했습니다. 템플릿, 사용자 연구 기반 500개 시드 쿼리(Few-shot), 속성 기반 프롬프트와 단어 길이/표현의 다변화를 유도하는 메커니즘을 결합하고, 대조 쌍 구조 자체를 통해 별도의 LLM 사후 평가 없이 관련성 레이블이 자동으로 확정되도록 설계했습니다.

The Result

실제 사용자 쿼리와의 KL 발산(Kullback-Leibler Divergence) 수치에서 CASTLE은 1.01을 기록하여 기존 최선 모델(Promptagator, 9.33) 대비 9.2배 뛰어난 분포 일치도를 보였으며, 전문가 3인의 인간 평가에서 91~93%의 일치율로 레이블 품질을 검증했습니다. 또한 쿼리 단어 수 표준편차가 real user(2.49)와 유사한 2.48을 기록하며, 실제 서비스 시작 후에도 롱테일 검색 의도를 효과적으로 커버하는 성과를 확인했습니다.

Trade-off

예약 이력이 없는 신규 등록 숙소의 경우 대조 쌍(Positive/Negative)을 구성할 수 없어 Virtual Judge(LLM 기반 평가기)에 의존해야 하며, 오프라인 합성 데이터 생성을 위해 고성능 LLM 프롬프팅 인프라 비용과 초기 데이터 정형화 파이프라인의 오버헤드가 발생합니다.

03

Key Concepts

Concept · 01

Cold-Start Problem in Search

새로운 검색 시스템이나 서비스를 출시할 때 과거의 검색 쿼리 로그 및 검색어-결과 간 관련성 레이블이 전혀 존재하지 않아 모델 학습이 불가능한 상태를 의미합니다.

  • 에어비앤비 자연어 검색 출시 전 학습용 쿼리 및 관련성 데이터가 전무한 상황에서 발생함
Concept · 02

Contrastive Listing Pairs

사용자가 여러 후보를 살펴본 뒤 특정 항목을 최종 선택했을 때, 선택된 항목(Positive)과 선택되지 않은 다른 후보(Negative)를 대조군으로 묶어 사용자 선호를 간접 표현한 데이터 구조입니다.

  • 익명화된 예약 세션에서 긍정/부정 숙소를 쌍으로 묶어 LLM 입력 프롬프트의 컨텍스트로 전달함
  • LLM이 긍정 숙소에는 부합하고 부정 숙소에는 부합하지 않는 쿼리를 생성하도록 유도하여 관련성 레이블을 자동 부여함
Concept · 03

KL Divergence (Kullback–Leibler Divergence)

하나의 확률 분포가 다른 확률 분포와 얼마나 차이가 있는지를 측정하는 통계적 척도로, 수치가 0에 가까울수록 두 분포가 유사함을 나타냅니다.

  • 생성된 합성 쿼리의 속성 및 길이 분포가 실제 유저 검색 분포와 얼마나 일치하는지 평가하는 핵심 지표로 사용함
  • CASTLE은 KL 발산 1.01을 기록하여 기존 baseline(9.33~26.2) 대비 압도적인 성능 향상을 입증함