#AI

Product Engineer: 하루 500건 분석 요청을 받아내는 데이터 에이전트, 일을 돕는 AI에서 일을 수행하는 AI로

Summary

분석가 100명분 일을 혼자서? 마이리얼트립의 24시간 '데이터 에이전트' 제작기

단순 조수를 넘어 스스로 쿼리하고 보고서까지 쓰는 AI 동료를 만드는 멀티 에이전트 아키텍처의 모든 것

마이리얼트립이 하루 500건 이상의 데이터 분석 요청을 처리하기 위해 구축한 AI 에이전트 시스템의 설계 과정과 운영 노하우를 담고 있습니다. LLM의 비결정성을 극복하기 위한 'Metric Registry' 지식 체계와 토큰 효율을 극대화한 'Lazy Load' 구조, 그리고 실행 직전의 쿼리까지 검증하는 4중 안전 장치 등 실무적인 AI 에이전트 구현 인사이트를 제공합니다.

01하루 500~600건의 대규모 분석 요청을 처리하는 자율형 멀티 에이전트 워크플로우 구축
02세션당 230K 토큰 비용을 획기적으로 줄이는 Parent-Sub Worker 분리 및 Lazy Load 기법
03지표 정의를 YAML로 코드화한 Metric Registry를 통한 데이터 신뢰성 확보
04Role, Gate, Rule, Hook으로 이어지는 4단계 레이어 설계를 통한 보안 및 쿼리 통제
05100개 이상의 eval과 shell test를 운영하여 기능 추가 시 발생하는 회귀 현상 방지

RECOMMENDATION

반복적인 데이터 추출 요청으로 병목을 겪고 있는 데이터 팀과 AI 에이전트를 실무에 도입하려는 엔지니어에게 강력 추천합니다. 단순히 모델을 호출하는 수준을 넘어, 기업 내 지식 체계와 안전망을 어떻게 LLM과 결합해야 하는지에 대한 완성도 높은 가이드를 제시합니다.

The Problem

데이터 분석가 한 명이 하루에 처리할 수 있는 분석 요청은 4~7건에 불과했으나, 사내 데이터 수요가 급증하며 반복적인 지표 추출 업무가 분석가의 본질적인 업무를 저해하는 병목 현상이 발생했습니다. 또한 초기 AI 모델은 '거래액'과 같은 주요 지표에 대한 명확한 정의가 부족하여 답변할 때마다 결과가 달라지는 비결정성 문제를 보였습니다.

The Solution

클로드(Claude) 모델을 기반으로 Dispatcher, Parent Worker, Sub-agent로 역할을 분리한 멀티 에이전트 구조를 설계하고, 토큰 비용 최적화를 위해 필요한 규칙만 그때그때 불러오는 'Lazy Load' 방식을 도입했습니다. 특히 지표의 정의와 계산식을 법전처럼 관리하는 'Metric Registry'와 DBT 메타데이터를 결합해 답변의 일관성을 확보하고, 4단계 안전망(Role, Gate, Rule, Hook)을 통해 보안과 쿼리 안정성을 구축했습니다.

The Result

슬랙에 출시된 이후 하루 최대 500~600건의 분석 요청을 성공적으로 처리하며 분석가들의 반복 업무를 자동화했습니다. 이를 통해 분석가들은 지표 설계나 정책 결정 등 더 고차원적인 업무에 집중할 수 있게 되었으며, 사용자가 의식하지 못하는 수준에서 워커 리밋 시 자동 선수 교체가 이루어지는 등 높은 가용성을 유지하고 있습니다.

Trade-off

API 비용 절감을 위해 헤드리스 모드와 복수 계정 클러스터를 활용하는 복잡한 인프라 운영 방식이 도입되었으며, 에이전트의 품질 유지를 위해 100개 이상의 테스트 케이스(eval)를 지속적으로 업데이트하고 관리해야 하는 운영 리소스가 수반됩니다.