Read Original
#DevOps

에러로그 하나에 깨던 새벽에서 벗어나기까지 — 상품 모니터링 진화기

에러로그 하나에 깨던 새벽에서 벗어나기까지 — 상품 모니터링 진화기
01

Summary

새벽 3시 슬랙 알림에 떨던 개발자의 해방, '자동화'가 답이었다

올리브영 상품 모니터링이 DLQ와 Datadog Workflow로 진화하며 운영 비용을 획기적으로 줄인 여정

실시간 커머스 환경에서 상품 데이터의 정합성은 비즈니스 신뢰도와 직결됩니다. 이 아티클은 수동 작업과 밤샘 대응이 가득했던 초기 모니터링 시스템을 자동 재처리 아키텍처와 AI 기반 진단 시스템으로 개선하여, 엔지니어의 삶의 질과 시스템 안정성을 동시에 잡은 기술적 성과를 다룹니다.

  • 01Debezium 기반 CDC 파이프라인의 실시간성 확보를 위한 모니터링 고도화
  • 02네트워크 일시 오류를 3회 자동 재시도 후 최종 실패만 관리하는 DLQ 프로세스 최적화
  • 03Datadog Workflow를 활용해 장애 상황을 평시 베이스라인과 비교 분석하는 자동 진단 구현
  • 04AI 분석 리포트를 Slack으로 즉시 전송하여 비몽사몽 상태에서도 빠른 의사결정 지원
  • 05QA팀 의존도를 낮춘 개발자 온디맨드 정합성 검증 웹 페이지 구축

RECOMMENDATION

분산 시스템에서 발생하는 일시적 동기화 오류로 고생 중인 엔지니어들에게 DLQ 도입을, 새벽 온콜 대응의 정신적 피로도를 낮추고 싶은 SRE 담당자들에게 Datadog Workflow 자동화를 강력 추천합니다.

The Problem

올리브영의 상품 데이터 통합 프로젝트 과정에서 Oracle DB 데이터를 Aurora 및 Opensearch로 실시간 동기화하는 CDC 아키텍처를 도입했으나, 초기에는 단순 로그 기반 알림과 수동 정합성 체크로 인해 새벽 시간대 대응 피로도가 높고 재처리 효율이 낮았습니다.

The Solution

일시적인 오류를 자동으로 복구하는 DLQ(Dead Letter Queue) 기반 재처리 프로세스를 도입하고, Datadog Workflow를 활용해 온콜 발생 시 AI가 APM 및 로그를 자동 분석하여 퀵 리포트를 제공하는 시스템을 구축했으며, 개발자가 직접 온디맨드로 실행 가능한 정합성 검증 웹 페이지를 구현했습니다.

The Result

DLQ 도입 후 수동 재처리 케이스가 거의 발생하지 않을 정도로 작업량이 감소했으며, 자동 분석 리포트를 통해 장애 발생 시 원인 파악 및 조치 시간이 단축되었습니다. 또한 외부 팀(QA) 의존성 없이 개발자가 직접 데이터 정합성을 검증할 수 있는 환경을 확보했습니다.

Trade-off

Datadog Workflow를 선택함에 따라 비동기 분석 도구인 Bits AI보다 즉각적인 대응은 가능해졌으나, 워크플로우 로직과 분석 스크립트를 엔지니어가 직접 설계하고 유지보수해야 하는 관리 비용이 발생하게 되었습니다.

03

Key Concepts

Concept · 01

CDC (Change Data Capture)

데이터베이스의 데이터 변경 사항을 실시간으로 감지하여 다른 시스템이나 저장소로 스트리밍 전달하는 기술입니다.

  • 기존 Oracle DB의 상품 데이터를 Aurora와 Opensearch로 실시간 동기화하는 핵심 메커니즘으로 사용되었습니다.
Concept · 02

DLQ (Dead Letter Queue)

정상적으로 처리되지 못한 메시지나 이벤트를 따로 격리하여 보관하는 큐로, 장애 분석 및 재처리를 위해 활용됩니다.

  • 일시적 네트워크 오류 시 3회 재시도를 수행하고, 최종 실패 건만 별도 로그로 적재하여 수동 처리를 최소화했습니다.
Concept · 03

Datadog Workflow

모니터링 이벤트 발생 시 사전에 정의된 로직에 따라 노코드 또는 스크립트 기반으로 자동화된 작업을 수행하는 도구입니다.

  • 온콜 발생 시 최근 15분 지표와 7일 베이스라인을 비교 분석하여 Slack에 자동 진단 리포트를 전송하는 데 사용되었습니다.