Sitar-agent: 대규모 환경에서 안정적인 동적 구성 사이드카 구축하기
Summary
에어비앤비는 어떻게 수만 개의 서버 설정을 재배포 없이 10초 만에 바꿀까?
안정성과 성능을 모두 잡은 Java 기반 사이드카 sitar-agent의 설계 노하우와 SQLite 마이그레이션 전략
에어비앤비의 핵심 동적 구성 시스템인 Sitar의 진화 과정을 다룹니다. 대규모 트래픽 환경에서 설정 전파의 신뢰성을 확보하기 위해 사이드카 아키텍처를 선택하고, 로컬 스토리지 최적화를 통해 성능 한계를 극복한 엔지니어링 여정을 소개합니다.
- 01S3 스냅샷 프리로딩을 활용한 빠른 포드 시작 및 서버 장애 복원력 강화
- 02메인 컨테이너 통합 대신 사이드카를 선택하여 얻은 리소스 격리 및 언어 중립성
- 03Sparkey에서 SQLite로 전환하며 해결한 데이터 동시성 및 다중 언어 클라이언트 지원 문제
- 04서버 부하를 최소화하면서도 10초 이내의 전파 속도를 보장하는 풀(Pull) 모델 최적화
- 05섀도우 리드(Shadow Reads)와 기능 플래그를 활용한 무중단 스토리지 마이그레이션 전략
RECOMMENDATION
대규모 마이크로서비스 환경에서 설정 관리 시스템을 설계하거나, 성능과 운영 단순성 사이에서 고민하는 인프라 엔지니어에게 적극 추천합니다.
The Problem
수만 개의 서비스 인스턴스가 운영되는 에어비앤비 환경에서 서비스 재배포 없이 실시간으로 동적 설정을 빠르고 안정적으로 전달해야 하는 과제가 있었습니다. 특히 설정 서버의 장애 상황에서도 서비스 가동성을 유지하고 수초 내에 모든 노드에 설정을 전파하는 성능이 요구되었습니다.
The Solution
Ruby에서 Java로 재작성된 경량 Kubernetes 사이드카 'sitar-agent'를 도입하여 S3 스냅샷 프리로딩 기능을 구현했습니다. 또한 로컬 데이터스토어를 기존 Sparkey에서 동시성 제어가 우수한 SQLite로 교체하고, 서버 부하를 줄이기 위해 캐싱 최적화된 풀(Pull) 모델을 채택했습니다.
The Result
S3 스냅샷을 통해 포드 시작 시 부트스트랩 속도를 높이고 서버 의존성을 낮추었으며, SQLite 도입으로 멀티 언어 지원 및 읽기/쓰기 성능을 대폭 개선했습니다. 결과적으로 수만 개의 포드에 수십 초 내로 설정을 안전하게 전파할 수 있는 확장성을 확보했습니다.
Trade-off
비용 절감을 위해 메인 컨테이너 내 라이브러리 방식을 고려했으나, 다국어 지원의 복잡성과 리소스 격리 부족으로 인해 사이드카 방식을 유지하기로 결정했습니다. 실시간성을 위해 푸시 모델을 고려할 수 있었으나 운영 단순성을 위해 최적화된 풀 모델을 선택했습니다.
Key Concepts
More from Airbnb
View all posts from Airbnb프로젝트 라이트하우스 3부 — project-lighthouse-anonymize를 소개합니다
Data PrivacyAnonymizationPython4일 전코로나19의 종식을 알게 된 방법 (그리고 우리 모델이 잊어야 했던 것들)
ForecastingBayesian MethodsMachine Learning1주 전유연한 인증(Flexible Authentication): 에어비앤비의 수백만 사용자를 위한 인증 시스템 재설계
Server-Driven UIAuthenticationMobile Architecture2주 전평가 주도 개발: 대규모 GenAI 평가를 통해 얻은 교훈
LLM EvaluationGenerative AIEval-Driven Development1개월 전게스트 여정 학습을 통한 에어비앤비 검색 개인화
TransformerRecommendationSearch Personalization1개월 전
