Read Original
#DevOps

AI로 E2E 회귀 테스트 자동화하기: ‘딸깍’을 파이프라인으로 바꾸기까지

AI로 E2E 회귀 테스트 자동화하기: ‘딸깍’을 파이프라인으로 바꾸기까지
01

Summary

‘딸깍’ 한 번으로 끝나는 AI 테스트 자동화의 환상을 깨고 신뢰할 수 있는 E2E 파이프라인을 구축한 이야기

LINE Plus QA 엔지니어가 AI 생성 코드의 거짓 성공 한계를 극복하고 회귀 테스트 196개를 자동화한 실전 가이드

AI에게 테스트 코드 생성을 맡길 때 발생하는 가장 큰 위험은 잘못된 대상을 검증하면서도 테스트가 통과하는 '거짓 성공' 현상입니다. LINE Plus QA팀은 AI의 임의 판단을 제어하는 5단계 검증 장치(명세 구조화, Gap 감지, 게이트 차단, 위양성 검증, 리뷰 패킷)를 설계하여 이 문제를 해결했습니다. 완벽한 무인 자동화 대신 '인간이 신뢰할 수 있는 검증 가능 자동화'를 통해 196개 테스트 케이스를 CI 파이프라인까지 성공적으로 구축해낸 경험을 다룹니다.

  • 01AI가 생성한 테스트의 거짓 성공(False Positive)을 차단하는 검증 중심 v2.0 파이프라인 설계
  • 02검증 항목 누락 및 위험 패턴을 실행 전 차단하는 5가지 게이트 자동 검사 도입
  • 03기댓값을 의도적으로 변형하여 테스트의 실제 검증 성능을 확인하는 위양성 검증(Mutation Testing) 적용
  • 042년간 지연되었던 셀러 센터 회귀 테스트 자동화를 파이프라인 완성 후 1개월 만에 구축 완료
  • 05기존 수동 테스트 98개 100% 전환 및 테스트 커버리지 196개로 2배 확장

RECOMMENDATION

AI 기반 테스트 자동화 도입 후 검증 신뢰도 문제로 고민하는 QA 엔지니어 및 DevOps 개발자에게 추천합니다. AI에게 제어권을 전적으로 위임하기보다 검증 기준을 인간이 소유하고 리뷰 공수를 최소화하는 시스템 설계 인사이트를 제공합니다.

The Problem

대만 Giftshop 셀러 센터의 E2E 회귀 테스트는 높은 구축 및 유지보수 부담으로 수동 진행되어 왔습니다. 단순 AI 코드 생성 방식(v1.0)을 적용했으나, AI가 모호한 상황에서 임의로 요소를 선택하거나 검증 항목을 누락시켜 잘못된 검증임에도 테스트가 통과하는 문제가 발생했습니다.

The Solution

합격 기준은 사람이 정의한 명세에 고정하고 구현만 AI에 위임하는 v2.0 파이프라인을 구축했습니다. 원본 기대 결과를 구조화된 명세로 파싱하고, 모호성 발생 시 멈추는 Gap 감지, 코드 실행 전 정적 검사를 수행하는 게이트, 기댓값을 변경해 검증력을 확인하는 위양성 검증, 사람이 핵심만 검토하는 리뷰 패킷 구조를 도입했습니다.

The Result

수동 회귀 테스트 케이스 98개를 100% 자동화로 전환하고 테스트 범위를 196개로 확대했습니다. 파이프라인 완성 후 약 1개월 만에 전체 회귀 테스트 코드 구축을 완료하였으며, CI 연동을 통해 정기 리그레션 테스트로 자동 실행 중입니다.

Trade-off

명세 구조화, 게이트, 위양성 검증 등 초기 파이프라인 프레임워크 구축에 수개월의 개발 공수가 소요되므로 일회성 테스트에는 비효율적일 수 있습니다. 또한 locator 선택의 타당성이나 모호한 조건 해석에 대한 최종 판단은 여전히 사람의 리뷰에 의존합니다.

03

Key Concepts

Concept · 01

위양성 검증 (Mutation Testing)

테스트 코드의 기댓값이나 로직을 의도적으로 변경한 후, 기존 테스트가 정상적으로 실패하는지 확인하여 테스트 자체의 검증 능력을 평가하는 기법입니다. 이를 통해 테스트가 제대로 된 검증 없이 PASS 처리되는 현상을 방지합니다.

  • Playwright 테스트의 matcher 기댓값을 3에서 4로 바꾸어 테스트가 실제로 실패하는지 검증함으로써 assertion의 실질적 검증 능력을 확인함
Concept · 02

파이프라인 게이트 (Pipeline Gate)

생성된 테스트 코드를 실행하기 전, 구문 및 규칙 수준에서 결함을 자동 검사하여 조건 미달 시 테스트 실행을 차단하는 안전장치입니다.

  • expect() 누락, assertion ID 누락, waitForTimeout 등 불안정 패턴 및 명세 충족 여부를 5가지 검사로 구분해 차단 및 경고함
Concept · 03

리뷰 패킷 (Review Packet)

자동으로 검증된 결과와 사람이 직접 판단해야 할 모호한 검증 항목을 분리하여 대시보드 및 스크린샷 형태로 제공하는 리뷰 문서입니다.

  • 전체 테스트 코드를 읽는 대신 리뷰 대시보드와 locator 확인용 스크린샷만 집중 검토하여 사람의 리뷰 공수를 대폭 단축함