#Backend

Skill 품질 관리를 위한 Rubric 설계와 시스템 구현

Summary

토스는 어떻게 LLM 스킬의 품질을 보장하는가? 30가지 항목의 Rubric 시스템 구축기

작동하지 않는 스킬은 이제 그만, 규칙 기반과 모델 기반 검사를 결합한 토스의 Skill 품질 관리 노하우

사내 개발 효율을 높이기 위해 배포되는 수많은 LLM Skill들의 품질 저하 문제를 해결하기 위한 토스 AI DX 팀의 분투기입니다. 단순히 '잘 써주세요'라는 가이드에 의존하는 대신, 30개의 구체적인 평가 지표를 수립하고 이를 자동화된 시스템으로 구현하여 품질을 상향 평준화했습니다. 특히 규칙 검사와 모델 검사를 명확히 분리하여 정확도와 비용 효율성을 동시에 잡은 아키텍처가 돋보입니다.

01Skill의 성공적인 호출을 방해하는 '트리거 실패'와 '형식 위반' 문제를 핵심 페인 포인트로 정의
02결정적 결함(정규식)과 의미적 결함(LLM)을 분리하여 관리하는 이원화된 설계 원칙 수립
03타당성, 구조, 트리거 등 6개 섹션으로 구성된 체계적인 30개 품질 평가 항목 설계
04BLOCKER 항목 존재 시 즉시 F 등급을 부여하여 배포를 차단하는 엄격한 품질 게이트 구현
05불필요한 LLM 비용을 아끼기 위해 규칙 검사 통과 시에만 모델 판정을 수행하는 비용 최적화

RECOMMENDATION

LLM을 활용한 사내 도구나 에이전트 스킬을 운영하며 '왜 모델이 내 스킬을 제대로 못 부를까?' 고민하는 플랫폼 엔지니어 및 AI 개발자에게 적극 추천합니다. 기술적 구현만큼 중요한 '평가 기준(Rubric)' 수립의 가이드라인을 얻을 수 있습니다.

The Problem

토스 내부에서 개발용 코딩 에이전트를 위한 'Skill'이 다수 생성되고 있으나, 설명(Description) 작성 미흡으로 인해 에이전트가 제때 호출하지 못하거나 형식이 맞지 않아 인식되지 않는 품질 문제가 발생했습니다. 특히 LLM 기반의 Skill은 기존 코드와 달리 통과/실패를 검증할 명확한 도구가 없어 결함이 조용히 누적되는 구조적 한계가 있었습니다.

The Solution

품질 관리를 위해 6개 섹션, 30개 항목으로 구성된 Rubric(평가 기준)을 설계하고, 이를 '규칙 기반(정규식/AST)'과 '모델 기반(LLM)' 검사로 이원화하여 시스템을 구현했습니다. 결정적인 형식 오류는 규칙 검사로 즉시 차단하고, 의미적인 타당성과 트리거 적절성은 LLM 모델을 통해 판정하며 심각도에 따라 등급(S~F)을 부여하고 배포를 자동 제어합니다.

The Result

형식 위반(kebab-case 등)에 대해서는 100% 규칙 기반 검출이 가능해졌으며, LLM을 활용해 호출 시점 정보 누락과 같은 의미적 결함을 정량적으로 평가할 수 있게 되었습니다. 운영 비용 측면에서 규칙 검사를 선행하여 불필요한 LLM API 호출 비용을 절감하고, 배포 가능 여부를 'F 등급' 여부로 단순화하여 코드 리뷰 및 병합 프로세스의 효율성을 높였습니다.

Trade-off

의미적 판정을 LLM에 맡길 경우 발생하는 False Negative(오탐) 가능성을 완전히 배제할 수 없으며, 모든 PR마다 모델 검사를 수행할 경우 발생하는 지연 시간과 비용이 발생합니다. 또한 확장성을 고려한 전략 패턴 대신 단순한 검사 로직을 유지함으로써 구현의 복잡성을 낮추었으나 향후 검사 항목이 방대해질 경우 유지보수 부담이 증가할 수 있는 잠재적 리스크가 있습니다.