#DevOps
토스의 속도와 품질, 상용 도구로 충분한가 — 토션(Tossion)
01
Summary
토스가 상용 QA 도구를 버리고 자체 테스트 플랫폼 '토션(Tossion)'을 만든 이유
속도와 품질을 모두 잡는 토스 QA 플랫폼 팀의 AI 기반 테스트 자동화 여정
이 아티클은 빠른 제품 주기 속에서 품질을 유지하기 위해 토스가 직접 개발한 자체 TCM 플랫폼 토션의 구축기를 다룹니다. 기존 상용 도구의 한계를 극복하고 실시간 동시 편집 기능부터 대규모 PR 분석 AI 에이전트, 다중 검증 모델 기반의 테스트 케이스 자동 생성까지 통합해 낸 실전 엔지니어링 과정을 상세히 소개합니다.
- 01원본 케이스 변경과 독립적으로 실행 시점 데이터를 복사 보존하는 스냅샷 기반의 테스트 런 구조 설계
- 02실시간 동시 편집자 표시, 항목 편집 잠금 및 즉각적인 상태 반영 기능을 통한 유기적인 협업 환경 구축
- 03릴리즈 시 수집된 대량의 PR을 분산 AI 에이전트로 병렬 처리하고 과거 장애 파일과 대조해 위험도를 감사하는 시스템 구현
- 04AI 자가 피드백, 규칙 기반 정적 검사, ISTQB 기준 테스트 계획 수립을 통한 3단계 교차 검증 파이프라인 개발
- 05개발 환경의 편차를 없애고 실패 지점을 차단하기 위해 싱글 실행 파일 형태의 CLI 도구로 AI TC 생성기 배포
RECOMMENDATION
상용 테스트 관리 도구의 커스텀 기능 한계로 인해 배포 주기를 맞추기 어렵거나 QA 프로세스에 분산 AI 에이전트를 도입해 자동화 시스템을 고도화하고자 하는 플랫폼 엔지니어에게 유용합니다.
The Problem
기존 상용 TCM 도구는 자동화 및 수동 테스트 결과가 분산되어 이력 파악이 어려웠으며 토스의 빠른 속도와 AI 기반 테스트 효율화 요구사항을 수용할 수 없는 한계가 있었습니다.
The Solution
토스는 자체 테스트 케이스 관리 플랫폼인 토션을 개발하여 테스트 이력을 스냅샷으로 관리하고 PR 분석 및 테스트 케이스 생성을 자동화하는 분산형 AI 에이전트를 도입했습니다.
The Result
릴리즈당 약 400건의 PR을 전량 수집하여 위험도를 자동 평가하고 AI 다면 검증을 통해 누락 없는 고품질 테스트 케이스를 자동 빌드 및 확보할 수 있게 되었습니다.
Trade-off
자체 플랫폼 및 CLI 도구 유지보수를 위한 개발 공수가 지속적으로 발생하며 AI 분석 프로세스가 최대 2시간 이상 소요되어 예외 처리가 가미된 비동기 처리 구조가 필요해졌습니다.
03
Key Concepts
Continue reading · same source
More from 토스
View all posts from 토스
1%가 겪은 버그 고쳐야할까요?
HotfixProgressive DeliveryQA Platform1일 전
토스증권 추천과 검색은 어떻게 진화하고 있을까?
Vector DatabaseRAGEmbedding Model4일 전
LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
LLM ServingvLLMObservability1주 전
전체 데이터를 브라우저에 두는 광고 대시보드 만들기
State ManagementPerformance OptimizationAPI Design1주 전
토스는 어떻게 광고 속에 게임을 넣었을까
MRAIDWebViewJS Bridge1주 전
