Unified Context-Intent Embeddings for Scalable Text-to-SQL
Summary
분석가가 이미 쓴 쿼리가 정답이었다: 핀터레스트의 차세대 Text-to-SQL 전략
단순한 RAG를 넘어 수천 명 분석가의 비즈니스 의도를 데이터화하여 분석 에이전트를 구축한 방법
핀터레스트가 방대한 데이터 웨어하우스에서 자연어로 쿼리를 생성하는 기술적 난제를 어떻게 극복했는지 상세히 설명합니다. 과거 쿼리 기록을 단순한 텍스트가 아닌 '비즈니스 의도'가 담긴 지식 베이스로 전환하고, 이를 거버넌스 데이터와 결합하여 실무에 즉시 투입 가능한 수준의 Text-to-SQL 시스템을 구축한 과정을 공유합니다.
- 01SQL 쿼리를 비즈니스 질문 형태의 자연어로 변환하여 검색 효율을 극대화한 의도 임베딩
- 02테이블의 중요도(Tier)와 신뢰도를 랭킹 알고리즘에 반영한 거버넌스 인지 시스템
- 03AI와 데이터 리니지를 활용해 수동 문서화 부담을 70%나 줄인 자동화 워크플로우
- 04AWS OpenSearch 기반의 내부 벡터 DB 서비스 구축을 통한 인프라 표준화
- 05분석가들의 집단 지성을 시스템에 지속적으로 학습시키는 선순환 구조 구축
RECOMMENDATION
엔터프라이즈급 규모에서 RAG 기반의 데이터 분석 도구를 구축하려는 데이터 엔지니어와 AI 아키텍트에게 강력히 추천합니다.
The Problem
핀터레스트는 10만 개 이상의 분석 테이블과 수천 명의 사용자가 존재하는 환경에서 단순 키워드 매칭이나 테이블 요약만으로는 사용자 의도에 맞는 정확한 SQL을 생성하는 데 한계를 겪었습니다. 특히 LLM이 도메인 특화 지식이나 복잡한 조인 패턴, 그리고 데이터 거버넌스 상태를 이해하지 못해 신뢰할 수 없는 쿼리를 생성하는 문제가 발생했습니다.
The Solution
과거 분석가들이 작성한 쿼리 이력을 자연어 형태의 분석 의도로 변환하고 도메인 컨텍스트를 주입한 '통합 컨텍스트-의도 임베딩'을 도입했습니다. 또한 쿼리 실행 로그에서 추출한 구조적 패턴과 테이블 티어링 기반의 거버넌스 인지 랭킹 시스템을 결합하여, 단순 유사도가 아닌 신뢰할 수 있는 데이터를 우선적으로 검색하도록 아키텍처를 개선했습니다.
The Result
이 시스템은 핀터레스트 내에서 가장 널리 채택된 분석 에이전트가 되었으며, AI 기반 자동 문서화 및 리니지 전파를 통해 수동 문서화 노력을 약 70% 절감했습니다. 생성된 AI 문서의 75% 이상이 실무에서 사용 가능한 수준으로 평가받는 등 정성적 만족도도 크게 향상되었습니다.
Trade-off
해당 솔루션의 성능은 사전에 정의된 데이터 티어링 정책과 풍부한 쿼리 히스토리에 크게 의존하므로, 데이터 거버넌스 체계가 미비하거나 초기 단계인 조직에서는 동일한 수준의 성능을 기대하기 어려울 수 있다는 한계가 있습니다.
Key Concepts
More from Pinterest
View all posts from Pinterest핀터레스트 홈 피드를 위한 조건부 학습 검색(CLR) 확장하기
Recommendation SystemsLearned RetrievalTransformer3일 전피너의 성장: 핀터레스트의 주간 활성 사용자 증가를 이끄는 유스케이스 표현 개선 사례
Recommendation SystemsClusteringEmbeddings1개월 전대규모 인프라 보안 확보: 핀터레스트의 리소스 프로비저너 파이프라인(RPP) 도입기
TerraformAWSGitHub Actions1개월 전핀터레스트 파운데이션 모델을 위한 선형에 가까운 학습 확장성 달성
Distributed TrainingPyTorchNCCL2개월 전핀터레스트의 차세대 DB 인제스션 프레임워크 내 자동화된 스키마 진화
CDCApache IcebergFlink2개월 전
