Amazon DocumentDB로 미리캔버스의 성능 50%와 비용 30%를 개선하다
Summary
MongoDB Atlas에서 DocumentDB로: 미리캔버스가 비용 30% 아끼고 성능 2배 높인 비결
IOPS 병목 해결부터 11억 건 데이터 마이그레이션 중 겪은 CDC 장애 대응기까지
실시간 협업 디자인 플랫폼 미리캔버스가 데이터베이스 병목을 해결하고 인프라 효율을 극대화하기 위해 Amazon DocumentDB로 전환한 기술적 여정을 다룹니다. Aurora 기반의 분산 스토리지 아키텍처를 활용해 성능과 비용이라는 두 마리 토끼를 잡은 과정과, 대규모 마이그레이션 시 반드시 체크해야 할 실전 노하우를 상세히 공유합니다.
- 01WiredTiger 엔진의 체크포인트로 인한 IOPS 스파이크 문제를 DocumentDB의 공유 스토리지 구조로 근본적 해결
- 02IO-Optimized 모드 도입을 통해 별도의 IOPS 과금 없이 대량의 트래픽을 처리하며 비용 30% 절감
- 03AWS DMS의 range 기반 파티셔닝 설정을 통해 11억 건의 대용량 데이터를 지연 없이 로딩
- 04CDC 장애 상황에서 직접 구현한 커스텀 파이프라인과 데이터 감사 체계를 활용한 긴급 복구 성공 사례
- 05복제 지연 시간을 37ms에서 2.5ms로 단축하여 실시간 동시 편집의 안정성과 정합성 확보
RECOMMENDATION
MongoDB의 IOPS 제한이나 복제 지연으로 서비스 확장에 어려움을 겪는 팀에게 DocumentDB 전환을 강력 추천합니다. 다만, 엔진의 내부 동작이 다르므로 전환 전 반드시 주요 쿼리 패턴에 대한 인덱스 최적화와 쓰기 처리량(Write Ceiling) 테스트를 선행해야 합니다.
The Problem
실시간 협업 디자인 플랫폼 미리캔버스는 기존 MongoDB Atlas 환경에서 WiredTiger 엔진의 체크포인트 작업 시 발생하는 IOPS 스파이크와 3,000 IOPS 상한 제한으로 인해 심각한 복제 지연 및 성능 저하 문제를 겪었습니다. 또한 서비스 성장에 따라 급증하는 IOPS 과금으로 인한 인프라 비용 부담이 가중되는 상황이었습니다.
The Solution
AWS Aurora 기반의 MongoDB 호환 엔진인 Amazon DocumentDB로 전환하고, IOPS 비용이 포함된 IO-Optimized 스토리지 모드를 도입하여 병목 현상을 제거했습니다. AWS DMS를 활용한 11억 건의 데이터 병렬 로딩과 CDC 장애 발생 시 직접 구현한 커스텀 CDC 파이프라인 및 감사 컬럼(Audit Column) 기반 복구 전략을 통해 마이그레이션을 완수했습니다.
The Result
DB 응답 속도(p50)가 4.2ms에서 2.1ms로 50% 개선되었으며, 복제 지연(Replication Lag)은 37ms에서 2.5ms로 약 93% 감소하여 동시 편집 사용자 경험을 크게 향상했습니다. 결과적으로 IOPS 비용 절감을 통해 전체 데이터베이스 운영 비용의 30%를 아끼는 성과를 거두었습니다.
Trade-off
DocumentDB는 MongoDB와 100% 호환되지 않아 집계 파이프라인 및 특정 연산자의 쿼리 수정이 필요했으며, Atlas 대비 데이터 압축 효율이 낮아 스토리지 사용량이 증가하는 트레이드오프가 발생했습니다. 또한 단일 Writer 구조의 한계로 인해 피크 타임의 쓰기 부하가 인스턴스 사양을 초과하지 않도록 철저한 사전 검증이 요구됩니다.
Key Concepts
More from 미리디
View all posts from 미리디
AI 잘 쓰는 사람의 노하우, 어떻게 팀 전체로 퍼질까?
AI EnablementAXAI Native2일 전미리캔버스가 AI 3대로 해외 트렌드에서 진짜를 가려내는 법
LLM AgentsMulti-Agent OrchestrationTrend Analysis1주 전AI로 QA 업무를 자동화한 방법: n8n부터 E2E 테스트 자동화까지
n8nE2E TestingLLM2주 전통합 검색 임베딩 모델 개발기: 9개 태스크를 고르게 학습시키기
EmbeddingMulti-task LearningContrastive Learning2주 전데이터 요청 응대 30분을 3분으로 줄인 n8n AI 에이전트
n8nAI AgentWorkflow Automation3주 전