#AI

통합 검색 임베딩 모델 개발기: 9개 태스크를 고르게 학습시키기

Summary

평균 성능의 함정에 빠진 AI 검색 모델 구하기: 9개 멀티태스크를 정교하게 학습시키는 방법

데이터 불균형과 태스크 간 간섭을 극복하고, LLM 평가 자동화로 비용까지 20배 아낀 미리디 AI팀의 실전 고군분투기

하나의 통합 임베딩 모델로 여러 검색 기능을 일원화하는 과정에서 마주한 심각한 성능 불균형 문제를 해결해 나간 엔지니어링 사례입니다. 검색 대상과 유형의 충돌 원인을 철저히 분석하고 프리픽스 적용, 스마트 배치 설계, 태스크별 로짓 스케일 조정 등 입체적인 대조 학습 최적화 노하우를 제공합니다. 또한 실질적인 모델 실험 반복을 가능하게 만든 LLM 평가 파이프라인의 비용 절감 기법까지 자세히 공유합니다.

01통합 모델의 평균 품질 지표가 가리고 있던 개별 태스크의 급격한 성능 하락 원인 분석
02텍스트 쿼리와 이미지 타깃에 각각 프리픽스를 다르게 구성하여 투타워 구조의 역할을 프롬프트로 제어
03소수 태스크도 풍부한 하드 네거티브를 확보할 수 있게 돕는 Interleaved Smart Batching 설계
04각 검색 태스크의 유사도 분포 민감도를 고려한 태스크별 독립 온도 파라미터(Logit Scale) 학습
05LLM as Judge 검증 프로세스 구축 및 이미지 20개를 묶는 그리드 풀링을 통한 API 호출 비용 95% 절감

RECOMMENDATION

멀티태스크 대조 학습에서 발생하는 데이터 불균형 및 성능 편차 문제로 고민하는 AI 엔지니어에게 추천합니다. 특히 단일 표현 공간 내에 상충하는 목표를 조화롭게 다루는 배치 기법과 실무형 평가 자동화 전략이 큰 도움이 될 것입니다.

The Problem

단일 통합 임베딩 모델을 도입한 결과 전체 평균 성능은 기존과 비슷하게 유지되었으나, 개별 태스크별로는 성능 편차가 매우 심해지는 현상이 발생했습니다. 이는 검색 대상과 유형을 구분하는 명확한 신호가 제공되지 않았고, 학습 데이터 분포의 불균형으로 인해 소수 태스크가 배치 학습 과정에서 유의미한 대조 신호를 받지 못했기 때문입니다.

The Solution

이를 해결하기 위해 입력 단계에서 쿼리에는 태스크 프리픽스를, 타깃 이미지에는 데이터 타입 프리픽스를 부여하였고 태스크별 독립된 학습 가능 온도 파라미터를 도입했습니다. 또한 배치를 단일 태스크 데이터로만 채우고 데이터 크기에 비례해 iteration을 배정하는 'Interleaved Smart Batching'을 설계했으며, LLM 평가 자동화와 이미지 그리드 풀링(Grid Pooling)을 통해 평가 효율을 최적화했습니다.

The Result

개선 결과 9개 태스크 전체에서 성능이 고르게 향상되어 평균 nDCG는 0.7249에서 0.8173으로, Precision은 0.6099에서 0.7322로 크게 상승했습니다. 태스크별 성능 편차(표준편차) 역시 절반 수준으로 감소하며 서비스 안정성을 확보했으며, 평가 비용 또한 기존 대비 95% 절감하는 효과를 얻었습니다.

Trade-off

태스크 간의 학습 신호 충돌과 성능 불균형은 대폭 완화되었으나, 요소 및 다른 요소 스타일 검색 태스크는 여전히 기존 실서비스 전용 모델 수준에는 다소 미치지 못했습니다. 하나의 고정 크기 요소 임베딩 안에 '의미 정보(Semantic)'와 '스타일 정보(Style)'를 모두 온전히 공유하고 보존하는 아키텍처적 한계는 여전한 과제로 남아있습니다.

Key Concepts

Concept · 01

Interleaved Smart Batching

각 배치를 단일 태스크의 데이터로만 집중 구성하여 배치 안의 데이터가 동일한 분포를 갖게 하고, 태스크 간 데이터 불균형에 맞게 학습 스텝 비율을 다르게 분배해 순환하는 배치 샘플링 기법입니다.

소수 태스크가 배치 내에서 쉬운 네거티브(easy negative)만 보게 되는 현상을 차단하고 정교한 대조 학습을 유도했습니다.
데이터가 많은 대규모 태스크에만 편향되어 모델이 최적화되는 태스크 간 불균형 문제를 완화했습니다.

Concept · 02

LLM as Judge & Grid Pooling

대형 언어 모델(LLM)을 활용하여 다량의 검색 결과물에 대한 관련성 평가를 자동화하고, 한 장의 이미지에 여러 검색 결과(20개)를 배치화하여 입출력하는 그리드 결합 기법입니다.

인적 자원에 따른 주관적인 평가 노이즈를 배제하고 고정된 프롬프트를 통해 실험 간 균등한 비교 기준을 제공했습니다.
개별 이미지 평가 시 반복 누적되는 LLM API 호출 횟수를 1/20 수준으로 극대화하여 줄였습니다.

Concept · 03

Task-specific Logit Scale

대조 학습 손실 함수의 Temperature 파라미터를 모든 태스크에 단일하게 적용하지 않고, 각 태스크별로 나누어 역전파를 통해 스스로 적절한 스케일을 학습하도록 설계한 방식입니다.

각 검색 유형마다 쿼리와 타깃 간의 유사도 특징 분포가 다름을 반영하여 최적화 효율을 올렸습니다.
학습 과정에서 한 태스크의 대조 신호가 다른 태스크를 방해하는 문제를 해소했습니다.

Continue reading · same source

More from 미리디

View all posts from 미리디

통합 검색 임베딩 모델 개발기: 9개 태스크를 고르게 학습시키기

Summary