Read Original
#DevOps

누군가는 토스를 테스트하는 동안, 우리는 테스트하는 법을 만듭니다.

누군가는 토스를 테스트하는 동안, 우리는 테스트하는 법을 만듭니다.
01

Summary

"토스가 매주 400개의 코드를 배포하면서도 튼튼한 이유, QA 플랫폼에 답이 있다"

단순 테스트를 넘어 AI와 플랫폼으로 품질의 표준을 재정의하는 토스 QA Platform 팀의 기술 여정

이 아티클은 초고속 배포 환경에서도 흔들림 없는 품질을 유지하기 위한 토스 QA Platform 팀의 고민과 해결책을 다룹니다. AI를 활용한 테스트 자동화부터 자체 플랫폼 '토션' 구축기, 그리고 '도구 제공'에서 '품질 책임'으로 나아가는 엔지니어링 철학의 변화를 생생하게 담고 있습니다.

  • 01매주 300~400건의 대규모 코드 변경을 안정적으로 처리하는 토스만의 릴리즈 파이프라인
  • 02상용 도구의 한계를 극복하고 일하는 방식에 최적화한 자체 플랫폼 '토션(Tossion)'
  • 03AI 기반 PRCheck와 tcgen을 활용한 지능형 테스트 설계 및 영향 범위 분석
  • 04크래시 트렌드 및 핫픽스 대시보드를 통한 데이터 중심의 사후 품질 관리
  • 05효율성(10X)과 책임 사이의 균형을 찾기 위한 QA 팀의 전략적 피보팅

RECOMMENDATION

빠른 배포 주기에서 품질 저하를 방어해야 하는 QA 엔지니어와, AI를 실무 테스트 프로세스에 접목하려는 플랫폼 개발자에게 최적의 인사이트를 제공합니다.

The Problem

매주 300~400건의 코드 변경이 발생하는 급격한 배포 환경에서, 수동 테스트와 경직된 상용 QA 도구만으로는 서비스의 안정성과 품질 표준을 유지하기 어려운 한계가 있었습니다.

The Solution

자체 QA 플랫폼 '토션(Tossion)'을 구축하여 테스트 프로세스를 통합하고, AI 기반의 PR 분석기(PRCheck)와 테스트 케이스 생성기(tcgen)를 도입하여 테스트 설계 및 영향도 분석을 자동화했습니다.

The Result

전사적인 품질 표준을 수립하고 수백 개의 변경 사항을 안정적으로 배포할 수 있는 체계를 갖추었으며, 데이터 기반의 크래시 트렌드 및 핫픽스 대시보드를 통해 정밀한 사후 모니터링과 재발 방지 역량을 강화했습니다.

Trade-off

AI 도구(tcgen) 제공이 사용자의 업무 부담을 완전히 해소해주지 못한다는 점을 확인했으며, 효율적인 도구 배포를 넘어 품질 결과 자체를 QA 팀이 직접 책임지는 방식으로 전략적 전환이 이루어졌습니다.

03

Key Concepts

Concept · 01

QA Platform

개별 제품의 테스트를 넘어 조직 전체의 테스트 효율성과 품질 표준을 높이기 위해 구축된 통합 엔지니어링 인프라입니다.

  • 자체 플랫폼 '토션'을 통해 TestRail 등 상용 도구를 대체하고 프로세스 내재화
  • 여러 업무용 봇을 '토스버틀러'로 통합하여 QA 워크플로우 효율화
Concept · 02

AI-Driven QA

LLM 등 인공지능을 활용하여 테스트 케이스를 자동 생성하고 코드 변경에 따른 위험도를 분석하는 지능형 품질 보증 방식입니다.

  • PRD와 디자인 문서를 분석해 테스트 케이스 초안을 만드는 tcgen 도입
  • PR 분석기(PRCheck)를 통해 개발자의 변경 사항에 따른 테스트 우선순위 도출
Concept · 03

Regression & Smoke Testing

스모크 테스트는 핵심 기능의 작동을 빠르게 확인하고, 리그레션 테스트는 수정 사항이 기존 시스템에 미치는 영향을 전방위로 검증합니다.

  • 토스닥터(Toss Doctor)를 이용한 핵심 기능 중심의 릴리즈 후보(RC) 검증
  • 토스체커(Toss Checker)를 통한 배포 전 서비스 전반의 안정성 자동 점검