네이버 검색의 대규모 메트릭 저장소, VictoriaMetrics 운영기
Summary
555조 개의 데이터포인트를 무중단으로 옮기는 법: 네이버 검색의 VictoriaMetrics 운영기
1.25억 시계열의 파도를 견디는 대규모 TSDB 아키텍처와 시니어 엔지니어의 무중단 장비 교체 전략
네이버 검색의 폭발적인 인프라 성장을 뒷받침하는 대규모 시계열 데이터베이스(TSDB) 운영 경험을 공유합니다. 180대 규모의 VictoriaMetrics 클러스터를 운영하며 직면한 메모리 한계를 해결하기 위해, 분산 알고리즘의 내부 동작을 역이용한 지혜로운 무중단 마이그레이션 기법과 효율적인 Hot/Warm 계층화 구조를 다룹니다.
- 0112.5억 활성 시계열과 555조 데이터포인트를 관리하는 국내 최대 규모의 VictoriaMetrics 운영 사례
- 02데이터포인트당 0.92바이트라는 경이로운 압축 효율을 실운영 환경에서 입증
- 03랑데부 해싱(Rendezvous Hashing)의 특성을 활용해 기존 노드 부하를 최소화한 '역순 장비 추가' 전략
- 04SSD(Hot)와 HDD(Warm)를 조합한 2계층 아키텍처로 쿼리 성능과 스토리지 비용의 최적 균형 달성
- 05API 호출 한계를 극복하기 위해 vmbackup/vmrestore 증분 복제를 활용한 테라바이트급 데이터 무중단 이관
RECOMMENDATION
대규모 분산 저장소의 인프라 확장이나 무중단 마이그레이션을 준비하는 백엔드 및 SRE 엔지니어에게 강력히 추천합니다. 특히 VictoriaMetrics의 내부 샤딩 원리를 실무에 어떻게 적용할 수 있는지에 대한 깊이 있는 통찰을 제공합니다.
The Problem
네이버 검색 인프라의 쿠버네티스 전환으로 컨테이너 수가 수백만 개로 폭증하며 메트릭 카디널리티가 급증했고, 이로 인해 기존 128GB 메모리 사양의 저장소 노드들이 OOM 위험과 쿼리 지연 문제에 직면했습니다.
The Solution
180대 규모의 vmstorage 장비를 512GB로 업그레이드하기 위해 Hot Tier에는 랑데부 해싱과 복제 메커니즘을 고려한 '역순 장비 추가' 전략을, Warm Tier에는 vmbackup/vmrestore를 이용한 파일 시스템 수준의 증분 복제 및 세트 단위 점진 전환 방식을 적용했습니다.
The Result
서비스 중단과 메트릭 누락 없이 장비 교체를 완수했으며, 12.5억 개의 활성 시계열과 555조 개의 데이터포인트를 관리하는 환경에서 초당 500건 이상의 쿼리를 p99 300ms 이내의 속도로 안정적으로 처리하고 있습니다.
Trade-off
Hot/Warm 2계층 분리 구조를 통해 비용 효율성을 높였으나 이중 쓰기 및 조회 분기 로직의 관리 복잡성이 증가했으며, 무중단 전환 과정에서 일정 기간 기존 장비와 신규 장비를 동시에 운영하는 리소스 비용이 발생했습니다.
Key Concepts
More from NAVER D2
View all posts from NAVER D2
우리 팀만의 vLLM 플러그인 만들기 2편 - 모델 변환부터 배포까지 AI-native로 자동화하기
vLLMGitOpsClaude Code2주 전
우리 팀만의 vLLM 플러그인 만들기 1편 - 검색 AI 모델 서빙 성능 극대화하기
vLLMModel ServingMLOps2주 전
FE News 26년 8월 소식을 전해드립니다.
CSSWeb PerformanceVite3주 전
[AI 해커톤 후기] AI 해커톤 1위 팀이 AI에게 맡기지 않은 것
LLMMCPSoftware Architecture1개월 전
VictoriaMetrics 운영기 2편 — 장비 증설 없이 리소스 위기를 해결한 3단계 최적화 전략
VictoriaMetricsTSDBQuery Performance1개월 전
