토스플레이스 데이터봇 ‘판다(PANDA)’를 소개합니다 : 모든 팀원이 데이터 전문가처럼 일하는 방법
Summary
"SQL 몰라도 데이터 전문가처럼!" 토스플레이스의 LLM 데이터 에이전트 판다(PANDA) 도입기
단순 데이터 추출 요청 70%를 자동화하고 사내 데이터 민주화를 실현한 AI 에이전트의 기술적 실체
토스플레이스는 사내 데이터 접근성을 혁신하기 위해 지능형 데이터 봇 '판다'를 개발했습니다. 단순히 LLM을 도입하는 것을 넘어 데이터 거버넌스 정립과 자율적인 에이전트 아키텍처를 결합하여 누구나 데이터 분석가의 도움 없이도 정확한 지표를 확인할 수 있는 문화를 구축했습니다.
- 01데이터 분석가의 업무 70%를 차지하던 단순 추출 작업을 AI로 대체
- 02네이밍 규칙 기반의 SSOT 구축으로 AI의 데이터 이해도와 답변 신뢰도 극대화
- 03유사도 점수와 계층별 가중치를 활용한 정교한 테이블 랭킹 시스템 구축
- 04쿼리 오류 시 스스로 스키마를 재확인하고 실행하는 Agentic Loop 설계
- 05데이터 결과와 함께 조회 기준 및 인사이트까지 제공하는 체계적인 답변 구조
RECOMMENDATION
사내 데이터 활용의 병목을 해결하고 싶은 데이터 엔지니어나 LLM을 이용한 실용적인 Text-to-SQL 에이전트 구축을 고민하는 개발팀에게 필독을 권합니다.
The Problem
데이터 분석 요청의 70%가 단순 수치 확인 작업임에도 불구하고, 분석가가 직접 SQL을 작성하거나 대시보드를 확인해야 하여 업무 병목이 발생하고 의사결정이 지연되는 문제가 있었다.
The Solution
LLM 기반의 데이터 봇 '판다'를 구축하였으며, 이를 위해 표준 데이터 마트(SSOT) 정비, 네이밍 컨벤션 표준화, 유사도 및 신뢰도 기반의 Scoring 시스템, 그리고 스스로 쿼리를 수정하고 재시도하는 Agentic Loop 아키텍처를 도입했다.
The Result
출시 일주일 만에 전체 팀원의 50%가 사용하고 현재는 70%의 사내 점유율을 기록하고 있으며, 4,000건 이상의 메시지를 처리하며 데이터 분석가들이 고차원적인 분석에 집중할 수 있는 환경을 조성했다.
Trade-off
초기 개발 단계에서 방대한 컨텍스트 참조로 인한 토큰 낭비와 Snowflake 비용 증가 문제가 발생했으나 탐색 범위 제한으로 완화했으며, 현재 답변 정확도 97%를 목표로 여전히 고도화 단계에 있어 완벽한 정확도는 과제로 남아있다.
Key Concepts
More from 토스
View all posts from 토스
1%가 겪은 버그 고쳐야할까요?
HotfixProgressive DeliveryQA Platform1일 전
토스증권 추천과 검색은 어떻게 진화하고 있을까?
Vector DatabaseRAGEmbedding Model4일 전
LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
LLM ServingvLLMObservability1주 전
전체 데이터를 브라우저에 두는 광고 대시보드 만들기
State ManagementPerformance OptimizationAPI Design1주 전
토스는 어떻게 광고 속에 게임을 넣었을까
MRAIDWebViewJS Bridge1주 전
