낯선 오타와 싸워서 이기고 싶은 마음
Summary
"렌스"를 "렌즈"로 바꾸는 기술, SSG.COM의 딥러닝 오타 보정 도전기
단순 오타 교정을 넘어 문맥을 읽는 번역 모델로 검색 경험을 혁신하다
이커머스 검색에서 오타는 고객 이탈을 유발하는 치명적인 요소입니다. SSG.COM은 기존 룰 기반 시스템의 한계를 극복하기 위해 딥러닝 번역 모델을 도입했으며, 학습 데이터 부족과 할루시네이션이라는 까다로운 기술적 난관을 멀티태스크 학습과 정교한 안전장치로 해결하며 검색 효율을 높였습니다.
- 01데이터 증강을 통해 수동 레이블링 없이 대규모 오타-정타 학습셋 구축
- 02맥락을 파악하지 못하는 모델의 한계를 멀티태스크 학습으로 보완
- 03할루시네이션 방지를 위한 편집 거리 기반의 기각 로직 적용
- 04검색 실패율 개선 및 보조 검색 시스템의 부하 감소 달성
- 05실무적인 관점에서의 모델 서빙 및 운영 전략 제시
RECOMMENDATION
검색 결과의 정확도와 커버리지를 동시에 잡고 싶은 검색 엔진 엔지니어나, 실무 환경에서 딥러닝 모델의 할루시네이션을 제어하는 방법론이 궁금한 NLP 개발자에게 강력히 추천합니다.
The Problem
기존의 로그 기반 오타 보정 시스템은 실제 검색 실패 후 재검색된 기록을 매칭하는 사후 대응 방식이었기 때문에, 데이터가 충분하지 않은 새로운 오타 패턴에 대해서는 커버리지가 매우 낮고 검색 실패가 지속되는 한계가 있었습니다.
The Solution
딥러닝 기반 번역 모델을 도입하여 정타 검색어로부터 오타를 생성하는 데이터 증강 기법을 적용했으며, 모델의 할루시네이션 문제를 해결하기 위해 멀티태스크 학습(검색어-상품명 추론 등)과 편집 거리 기반 필터링 로직을 안전장치로 구축했습니다.
The Result
검색 실패율이 0.3%p 감소하고 검색 실패를 정타로 치환함으로써 벡터 검색 의존도를 3.4%p 낮추었으며, 보정된 검색 결과의 클릭률(CTR) 또한 기존 정타 검색과 유사한 수준을 유지하는 성과를 거두었습니다.
Trade-off
딥러닝 모델의 특성상 의도치 않은 오보정(False Positive) 위험이 상존하여 이를 제어하기 위한 수동 필터링 로직과 운영 관리 포인트가 추가되었으며, 실시간 추론을 위한 GPU 리소스 비용이 수반되었습니다.
