Read Original
#AI

모두가 데이터를 다루는 AI 시대, 지난 1년간 데이터 팀은 어떻게 달라졌을까?

모두가 데이터를 다루는 AI 시대, 지난 1년간 데이터 팀은 어떻게 달라졌을까?
01

Summary

당근 데이터 팀이 AI 시대를 살아남는 법: '답' 대신 '신뢰'를 설계하다

MCP로 데이터 도구를 연결하고 LLM 인터페이스를 구축하여 데이터 조직의 존재 이유를 증명한 1년간의 기록

단순한 SQL 작성을 넘어 AI가 데이터 플랫폼의 핵심 인터페이스가 된 당근의 변화를 다룹니다. 데이터 엔지니어링의 본질이 구현에서 설계와 거버넌스로 이동하며, AI가 믿을 수 있는 답을 내놓도록 만드는 인프라의 중요성을 강조합니다.

  • 01Model Context Protocol(MCP)을 활용해 LLM이 직접 DB와 지표 플랫폼에 접근하는 data-mcp 구축
  • 02반복적인 SQL 작성과 프로토타이핑 단계를 AI로 자동화하여 데이터 분석 및 엔지니어링 업무 속도 대폭 개선
  • 03기존 UI 중심의 데이터 제품 설계를 'UI + LLM 인터페이스'라는 두 가지 계층으로 확장
  • 04지표 정의를 코드로 통합 관리하여 AI가 도메인 지식을 정확히 반영하도록 유도하는 기반 마련
  • 05데이터 거버넌스를 통해 AI의 권한 밖 데이터 접근 및 할루시네이션 방지 로직 구현

RECOMMENDATION

AI 도입을 고민하는 데이터 팀이라면 단순 도구 도입을 넘어 메타데이터와 리니지 같은 기본 인프라를 먼저 다지세요. 신뢰할 수 있는 데이터 정의가 없다면 AI는 강력한 오답 제조기가 될 뿐이라는 점을 명심해야 합니다.

The Problem

AI의 확산으로 데이터 업무의 진입장벽은 낮아졌으나, 반복적인 SQL 작성과 데이터 탐색에 소요되는 비용은 여전했으며 비즈니스 맥락이 결여된 AI 결과물의 품질 저하와 책임 공백에 대한 우려가 존재했습니다.

The Solution

Model Context Protocol(MCP)을 기반으로 사내 데이터 도구들을 연결한 'data-mcp' 서버를 구축하여 LLM이 자연어로 지표와 계보를 조회하게 했으며, 데이터 조직의 역할을 '답을 대신 만드는 팀'에서 '답이 신뢰 가능하게 만들어지는 환경을 구축하는 팀'으로 재정의했습니다.

The Result

구성원들이 Claude Code 등에서 MCP를 통해 데이터를 탐색하는 것이 일상화되었고, 기존에 코드로 관리하던 통합 지표 정의와 컬럼 레벨 리니지 정보를 활용해 AI 답변의 정확도와 추적 가능성을 크게 높이는 성과를 거두었습니다.

Trade-off

AI 도입으로 업무 속도는 비약적으로 향상되었으나, 사용자가 데이터의 세부 정의를 무시한 채 AI의 요약 결과를 과신할 위험이 있어 '답이 없는 것이 오답보다 안전하다'는 원칙 아래 권한 제어와 검증 레이어 설계에 더 많은 리소스가 투입되었습니다.

03

Key Concepts

Concept · 01

MCP (Model Context Protocol)

LLM이 로컬 파일, 데이터베이스 등 외부 도구와 데이터를 안전하고 표준화된 방식으로 주고받을 수 있게 하는 오픈 프로토콜입니다.

  • BigQuery, 지표 플랫폼(KarrotMetrics) 등을 LLM과 연동하여 자연어로 데이터를 탐색하는 환경을 구현하는 데 활용되었습니다.
Concept · 02

Data Lineage (데이터 계보)

데이터의 생성부터 변경, 이동 과정을 추적하여 데이터 간의 의존 관계를 시각화하고 관리하는 정보입니다.

  • Lineage MCP를 통해 AI가 테이블 수정 시 영향도를 분석하거나 답변의 근거가 된 데이터 소스를 추적하는 데 사용되었습니다.
Concept · 03

Data Governance (데이터 거버넌스)

데이터의 품질, 가용성, 보안 및 신뢰성을 보장하기 위해 조직 내에서 수행되는 데이터 관리 체계입니다.

  • AI가 권한 범위를 벗어난 데이터를 지어내지 않도록 차단하고, 일관된 지표 정의를 참조하게 만드는 안전장치로 작용했습니다.