통합 지식 그래프 인프라를 활용한 에어비앤비 ID 그래프 확장
Summary
70억 노드의 거대 그래프, 에어비앤비는 어떻게 성능을 93%나 끌어올렸나?
PaaS의 한계를 넘어 JanusGraph와 DynamoDB로 구축한 차세대 그래프 인프라의 비밀
에어비앤비가 수십억 개의 엔티티 관계를 관리하기 위해 기존 외부 솔루션을 버리고 자체 지식 그래프 플랫폼을 구축한 과정을 상세히 다룹니다. 데이터 저장소와 로직을 분리한 아키텍처와 엔진 내부 최적화를 통해 대규모 트래픽 환경에서 그래프 데이터의 성능과 확장성을 극대화한 사례입니다.
- 01JanusGraph와 DynamoDB 조합을 통한 스토리지 분리 아키텍처 구현
- 02복잡한 Gremlin 쿼리 단계(Path, Side-effect) 최적화로 지연 시간 대폭 감소
- 03DynamoDB의 조건부 쓰기를 활용한 저비용 고효율 트랜잭션 전략 도입
- 04내부 포크(Fork)를 통한 분산 추적 시스템(Tracing)과 관찰성 확보
- 05P99 지연 시간을 50% 단축하며 거대 노드 네트워크의 '긴 꼬리' 성능 문제 해결
RECOMMENDATION
대규모 관계형 데이터를 다루는 백엔드 엔지니어와 그래프 DB 도입을 고민하는 아키텍트에게 추천합니다. 특히 고성능이 필요한 다단계 홉(Multi-hop) 쿼리 최적화 기법이 실무에 유용합니다.
The Problem
에어비앤비의 ID 그래프는 70억 개의 노드와 110억 개의 에지로 성장하며 기존 PaaS 솔루션의 확장성 한계, 복잡한 다단계(4~8홉) 쿼리의 긴 꼬리 지연 시간(Long-tail latency), 운영상의 불안정성 문제에 직면했습니다.
The Solution
JanusGraph를 엔진으로, DynamoDB를 저장소로, OpenSearch를 인덱싱으로 사용하는 내부 관리형 지식 그래프 플랫폼을 구축했습니다. 조건부 쓰기를 활용한 트랜잭션 최적화, 쿼리 병렬 실행 엔진 개선, 그리고 Gremlin 쿼리 재작성을 통한 클라이언트 측 최적화를 도입했습니다.
The Result
기존 벤더 솔루션 대비 쿼리 패턴별로 지연 시간을 32~93% 단축했으며, 읽기/쓰기 전반의 P99 지연 시간을 약 50% 개선했습니다. 또한 로드 테스트를 통해 쓰기 성능(QPS)을 10배 확장하고 수동 재부팅 없는 시스템 안정성을 확보했습니다.
Trade-off
서드파티 관리형 서비스(PaaS)에서 내부 관리형 인프라로 전환함에 따라, 초기 구축 비용과 엔진 레벨의 최적화 및 지속적인 플랫폼 유지보수를 위한 내부 엔지니어링 리소스 투입이 필요해졌습니다.
Key Concepts
More from Airbnb
View all posts from Airbnb프로젝트 라이트하우스 3부 — project-lighthouse-anonymize를 소개합니다
Data PrivacyAnonymizationPython4일 전코로나19의 종식을 알게 된 방법 (그리고 우리 모델이 잊어야 했던 것들)
ForecastingBayesian MethodsMachine Learning1주 전유연한 인증(Flexible Authentication): 에어비앤비의 수백만 사용자를 위한 인증 시스템 재설계
Server-Driven UIAuthenticationMobile Architecture2주 전평가 주도 개발: 대규모 GenAI 평가를 통해 얻은 교훈
LLM EvaluationGenerative AIEval-Driven Development1개월 전게스트 여정 학습을 통한 에어비앤비 검색 개인화
TransformerRecommendationSearch Personalization1개월 전