서비스 개발에 집중할 수 있는 AI 플랫폼 만들기
Summary
토스가 생성형 AI 시대를 맞아 개발 생산성을 폭발시킨 비결: AI 플랫폼과 Gateway 아키텍처
복잡한 규제 검토부터 토큰 제한, 비용 최적화까지 서비스 팀의 고민을 해결해 준 LLM Gateway 구축기
토스 AI Platform 팀이 서비스 개발자들이 모델 연동과 운영 부담에서 벗어나 본연의 기능 개발에 집중할 수 있도록 구축한 AI 플랫폼 생태계를 소개합니다. GenAI Portal과 Gateway, MCP Gateway를 통해 보안, 비용, SLA, Observability를 중앙에서 통합 관리하는 엔터프라이즈급 아키텍처 노하우를 다룹니다.
- 01GenAI Portal 및 Gateway를 통한 AI 모델 신청/승인/호출 일원화 및 금융 규제 준수
- 02MCP(Model Context Protocol) Gateway를 도입해 사내 도구 실행 권한과 데이터 접근 권한 분리 관리
- 03개인정보 마스킹 및 보안 가드레일을 적용하면서도 장애 추적을 유지하는 로그 분리 관리 체계
- 04스트리밍 응답과 완료 전 요청을 고려한 토큰 사전 예약(Reservation) 기반 사용량 제어
- 05약정 용량(PTU) 초과/장애 시 종량제(PAYG)로 자동 우회하고 복구 시 재전환하는 다이내믹 라우팅
RECOMMENDATION
사내에 LLM 및 생성형 AI 도입을 확산시키고자 하는 AI 플랫폼 엔지니어, MLOps 담당자, 그리고 LLM Gateway 아키텍처 설계를 고민 중인 백엔드 개발자에게 적극 추천합니다.
The Problem
서비스 팀별로 생성형 AI 모델 연동, 권한 검증, 사용량 집계, 장애 대응 및 금융 규제 검토를 각각 중복으로 구현해야 하는 비효율이 발생했습니다. 또한 서비스 확장에 따른 비용 관리 및 프롬프트 내 개인정보 노출, 실시간 호출 용량 제어의 어려움이 존재했습니다.
The Solution
토스 AI Platform 팀은 설정/신청용 'GenAI Portal'과 요청 처리를 맡는 'GenAI Gateway', 도구 권한 관리를 위한 'MCP Gateway'를 구축했습니다. 입력 가드레일을 통한 민감 정보 마스킹, Langfuse 기반 트레이싱, 토큰 사전 예약 방식의 사용량 제어, 그리고 약정 용량(PTU) 장애 시 종량제(PAYG)로 전환되는 가용성 라우팅을 구현했습니다.
The Result
공통 로직 중앙화를 통해 서비스 팀의 중복 개발 부담을 줄이고 금융 규제 준수 및 보안 검토 프로세스를 표준화했습니다. 또한 정확한 토큰 수 집계 및 PTU/PAYG 동적 라우팅을 통해 모델 가용성을 확보하고 AI 운영 비용 절감 효과를 거두었습니다.
Trade-off
Gateway 수준의 공통 제어로 개별 모델 고유 기능(도구 호출, 구조화된 출력 등) 지원 여부는 서비스 팀이 별도로 검증해야 하며, 서비스 내부 상세 추적을 위한 계측 작업은 서비스 팀에 일부 잔재합니다.
