#AI

AI가 먼저 거는 전화를 설계하다

Summary

고객이 말한 지 0.2초 만에 대답하는 AI 아웃바운드 콜 엔진의 비밀

채널톡 FDE팀이 LLM 응답 지연을 65% 단축하고 실제 미연결 고객 전환을 이끌어낸 기술적 여정

기업이 먼저 전화를 거는 아웃바운드 콜은 인바운드와 달리 미리 대본을 준비할 수 있지만, 정교한 흐름 제어와 레이턴시 최적화가 필수적입니다. 채널톡 FDE팀은 LLM의 역할을 발화 생성 대신 단순 분류로 한정하고, SVAD 및 의사결정 특화 모델 Jev를 도입해 대화 지연을 0.2초 수준으로 감소시켰습니다. 본 아티클은 AI 전화 엔진 설계부터 실제 현장에서 대규모 전환 성과를 거두기까지의 엔지니어링 과정을 상세히 다룹니다.

01노드 기반 엔진과 전역 규칙(Global Interrupt) 분리를 통한 대화 시나리오 흐름 제어
02의미론적 발화 완결성을 판단하는 SVAD(Semantic Voice Activity Detection) 구현으로 유저 대기 시간 최소화
03비동기 발화 정정 시 기존 LLM 판정을 무효화하기 위한 호출 ID 및 발화 버전 검증 로직 구축
04의사결정 특화 모델 Jev 도입을 통한 응답 시간 65% 감소(평균 196.2ms)
05실제 운영에서 상담원 미연결 고객 2,500명 중 83명의 상담 희망자를 발굴하며 비용 대비 효율 증대

RECOMMENDATION

AI 대화형 음성 서비스를 개발하며 실시간 응답 지연 및 대화 흐름 제어로 고민 중인 엔지니어에게 적극 추천합니다. LLM을 모든 생성 과정에 쓰기보다 분류 모델과 결정 엔진으로 역할을 분리하는 실무적 접근법을 얻을 수 있습니다.

The Problem

기업이 먼저 고객에게 전화를 거는 아웃바운드 콜은 대화 흐름이 미리 정해져 있으나, 고객 답변 분석에 시간이 걸릴 경우 침묵이 발생하여 통화가 끊길 위험이 있었다. 또한 통화 중 예기치 못한 발신처 문의나 중간 말 끊김, 추가 발화 등의 예외 상황을 정교하게 제어하면서 응답 지연(Latency)을 최적화해야 하는 과제가 존재했다.

The Solution

대화 흐름을 사전 정의된 노드 구조와 전역 규칙(Global Interrupt)으로 설계하고, LLM은 전체 대사 생성이 아닌 발화 분류 및 정보 수집에만 한정하여 활용했다. 추가로 의미론적 발화 완결성을 판단하는 SVAD를 도입하고 비동기 버전 검증 메커니즘을 적용했으며, 의사결정 특화 모델인 Jev를 도입해 응답 지연을 대폭 단축시켰다.

The Result

Jev 모델 도입을 통해 답변 분류 평균 응답 시간을 기존 LLM 대비 약 65% 감소한 196.2ms로 줄여, 고객 답변 후 약 0.2초 만에 다음 발화를 시작하는 실시간 반응성을 확보했다. 실제 상담 의사 확인 캠페인 운영을 통해 기존 상담원 미연결 고객 2,500건 중 83명의 상담 희망자를 확보하며 높은 성과를 입증했다.

Trade-off

생성형 LLM 대신 노드 기반의 정형화된 시나리오와 분류 모델을 활용함에 따라 유연하고 자유로운 대화 확장성은 다소 제한된다. 아울러 고객의 추가 발화 및 정정에 대응하기 위해 호출 ID와 발화 버전을 매번 검증하는 등 비동기 이벤트를 관리하기 위한 시스템 예외 처리 복잡도가 증가했다.