KOEN
Read Original
#Backend

메트릭스 보드: AI 에이전트가 바로 사용할 수 있는 메트릭 레이어 구축기

메트릭스 보드: AI 에이전트가 바로 사용할 수 있는 메트릭 레이어 구축기
01

Summary

"몇 주 걸리던 데이터 지표 연동을 1시간 만에!" 핀터레스트가 AI 에이전트와 메트릭 레이어를 결합해 대형 사고 예방하는 법

파편화된 SQL과 수동 파이프라인에서 탈피해, 메트릭을 코드로 정의하고 에이전트까지 지원하는 핀터레스트의 메트릭스 보드(Metrics Board) 아키텍처를 소개합니다.

핀터레스트 엔지니어링 팀이 대규모 비즈니스 의사결정과 대규모 실험 플랫폼을 실시간으로 지원하기 위해 개발한 전사 메트릭 통합 관리 레이어 기술 블로그입니다. 메트릭을 하나의 YAML 스펙 코드로 선언하여 소유권, 배포, 모니터링을 표준화하는 일련의 파이프라인 자동화 아키텍처를 상세히 제시합니다. 더불어 데이터 기반의 고도화된 통찰을 실시간으로 끌어내는 사내 분석 에이전트와 이 플랫폼이 연계되어 실무 가치를 창출하는 여정을 담고 있습니다.

  • 01모든 메트릭 명세를 전용 Git 리포지토리의 YAML 파일로 기록하고 코드 리뷰를 통해 소유권 및 변경 이력을 투명하게 관리
  • 02메트릭 사양을 자동으로 분석해 단독 독립형 Airflow DAG를 자동 구성하고 업스트림 데이터가 지연될 경우 실행 시점을 자동 탐지
  • 03룰 기반 템플릿 검증과 시계열 머신러닝 이상 탐지 알고리즘(Warden)을 결합하여 가용 가능한 정적/동적 데이터 유효성 검증 제공
  • 04배포 선언 플래그 하나로 DataHub 메타데이터, Helium 실험 플랫폼, Superset 대시보드, StarRocks 실시간 엔진에 변경 사항을 즉시 동기화
  • 05메트릭 자체에 엄격한 품질 점수(A+~Unknown Grade)를 등급화해 대시보드 데이터 수명 주기와 우선순위 연동 제어

RECOMMENDATION

전사 의사결정 지표의 파편화로 골머리를 앓는 데이터 엔지니어, 실험 플랫폼과 데이터 카탈로그의 지표 정합성을 영구적으로 맞추고 싶은 플랫폼 개발자, 그리고 데이터 분석용 LLM 에이전트를 도입 중인 데이터 실무자에게 최고의 실무 레퍼런스입니다.

The Problem

과거 핀터레스트에서는 각 팀이 자체 데이터 파이프라인을 통해 메트릭을 개별적으로 정의하고 수동으로 보고서 및 실험 도구에 연동했습니다. 이로 인해 파이프라인 개발 속도가 늦어지고, 메트릭의 중복 정의로 인한 데이터 신뢰도 저하와 메타데이터의 동기화 실패 현상이 발생했습니다.

The Solution

핀터레스트는 메트릭을 단 한번만 정의하면 하위 배포 및 계산 과정 전체를 자동화하는 독립적 시맨틱 레이어인 '메트릭스 보드'를 구축했습니다. 이 플랫폼은 Git 기반의 YAML 중앙 저장소, 독립적인 Airflow DAG 자동 생성 엔진, 규칙 및 머신러닝 기반의 이상 탐지 모델, 그리고 타깃 플랫폼 자동 배포 및 AI 에이전트 연동 아키텍처를 결합했습니다.

The Result

신규 메트릭 생성 및 구축 주기가 기존 몇 주에서 1~2시간으로 대폭 단축되어 제품 개발 속도가 획기적으로 개선되었으며, 한 개별 대형 프로젝트에서만 수개월 분의 개발 공수를 절감했습니다. 현재 전체 실험 지표의 98% 이상이 메트릭스 보드를 통해 관리되고 있으며, MCP 규격을 지원하여 사내 분석 AI 에이전트가 자연어 질의에 대해 신뢰도 높은 정량적 답변을 생성할 수 있게 되었습니다.

Trade-off

핀터레스트 엔지니어링 팀은 기존 소스 데이터셋 전반에 무리하게 엄격한 관계형 시맨틱 모델링을 강제하는 대신, 사용자가 작성한 SQL 쿼리와 최소한의 모델 정보를 기입받는 유연한 구조를 절충안으로 채택했습니다. 이 덕분에 사내 다양한 형태의 대규모 테이블을 쉽고 빠르게 수용할 수 있었으나, 완벽하게 정형화된 메타 모델을 완비하는 아키텍처적 일관성은 일부 타협해야 했습니다.

03

Key Concepts

Concept · 01

시맨틱 레이어 (Semantic Layer)

물리적인 데이터 저장 아키텍처 위에 가상의 계층을 얹어 복잡한 원천 테이블을 인간 중심의 비즈니스 용어와 일치된 데이터 정의로 추상화해 주는 플랫폼 아키텍처입니다.

  • 메트릭스 보드는 핀터레스트 내부의 이기종 메타데이터 시스템과 시각화 도구들을 중재하는 핵심 시맨틱 완충 영역 역할을 수행합니다.
Concept · 02

MCP (Model Context Protocol)

LLM으로 구성된 AI 에이전트가 데이터 원천, 외부 컨텍스트 파일, 소프트웨어 도구 및 리소스에 표준화된 명세 형식으로 효율적으로 접근할 수 있도록 돕는 오픈 프로토콜 표준입니다.

  • 메트릭스 보드의 풍부한 메타데이터와 정의 정보는 MCP 서버로 상시 노출되어 AI 에이전트가 데이터 정합성을 추론할 수 있게 돕습니다.
Concept · 03

코드로 정의하는 메트릭 (Metrics-as-Code)

데이터 모델과 비즈니스 메트릭 계산식을 수동으로 BI 도구에 바인딩하는 것이 아닌, 소프트웨어 코드처럼 선언적 언어 파일로 코딩하여 형상 관리 도구 하에 빌드, 검토 및 버전을 통제하는 개념입니다.

  • 모든 비즈니스 지표는 독립적인 YAML 형태 스펙 파일로 작성되어 Git 리포지토리 내에서 완벽한 변경 통제 프로세스에 따릅니다.