Read Original
#AI

상담 데이터 분석을 통해 메뉴얼 추출하기

상담 데이터 분석을 통해 메뉴얼 추출하기
01

Summary

상담 데이터 1,000건에서 AI 에이전트 메뉴얼까지, 단 4단계로 자동화하기

채널톡 AX팀이 상담 지식을 구조화된 SOP와 RAG 데이터로 변환하며 겪은 시행착오와 솔루션

AI 도입의 가장 큰 병목인 '상담 프로세스 정의'를 자동화하기 위한 기술적 여정을 다룹니다. 단순한 데이터 분류를 넘어 실제 AI 에이전트가 즉시 학습하고 실행할 수 있는 수준의 지식 베이스와 운영 절차를 데이터로부터 직접 추출하는 파이프라인 설계 노하우를 공유합니다.

  • 01임베딩과 클러스터링을 활용해 AI 분류의 일관성과 재현성 확보
  • 02RFC 2119 표준 키워드를 적용하여 모호함 없는 에이전트 지시문 생성
  • 03단순 '자동화율'을 넘어선 '상담 시간 절감액' 기반의 현실적인 지표 제시
  • 04프롬프트에 의존하는 대신 시스템 구조로 LLM의 동작을 강제하는 설계 전략
  • 05상담 데이터에서 규칙(Rules), 지식(RAG), 태스크(Tasks)를 분리하여 자동 생성

RECOMMENDATION

AI 도입을 준비 중이지만 방대한 상담 데이터를 어떻게 자산화할지 고민인 엔지니어와 기획자에게 추천하며, 특히 실무에 즉시 적용 가능한 데이터 전처리 및 구조화 팁을 얻을 수 있습니다.

The Problem

AI 상담 에이전트(ALF) 도입 시 상담 유형을 정의하고 AI의 판단 기준을 수동으로 문서화하는 과정에서 과도한 시간이 소요되었으며, 기존 AI 분류 방식은 결과의 일관성이 부족하고 실행 가능한 가이드를 생성하지 못하는 한계가 있었습니다.

The Solution

임베딩과 K-Means 클러스터링을 결합해 상담 유형 분류의 재현성을 확보하고, LLM을 활용하여 실제 상담 패턴과 대응 흐름을 RFC 2119 표준 기반의 구조화된 SOP(표준운영절차) 및 ALF 설정 파일로 자동 추출하는 파이프라인을 구축했습니다.

The Result

빈 화면에서 시작하던 세팅 과정을 데이터 기반의 초안 검토 방식으로 전환하여 초기 도입 장벽을 낮추었으며, 추상적인 자동화율 대신 '상담 시간 절감'이라는 구체적인 수치로 서비스 도입의 경제적 가치를 증명할 수 있게 되었습니다.

Trade-off

수치상 성능이 우수한 HDBSCAN 대신 단일 도메인 데이터의 특성을 고려해 K-Means를 채택하는 전략적 선택을 했으며, 풍부한 패턴 추출을 위해 분석 샘플 수를 강제함으로써 연산 자원 소모와 분석 정밀도 사이의 균형을 맞추었습니다.

03

Key Concepts

Concept · 01

SOP (Standard Operating Procedure)

업무의 효율성과 품질 유지를 위해 상세히 기술된 표준운영절차서입니다.

  • 상담 데이터를 분석하여 AI가 특정 상황에서 어떻게 대응해야 하는지 정의하는 핵심 문서로 활용되었습니다.
Concept · 02

RFC 2119

기술 문서에서 요구 사항의 수준(MUST, SHOULD 등)을 명시하기 위해 사용하는 국제 표준 키워드입니다.

  • AI 에이전트의 지시문을 구조화하여 동작의 예측 가능성과 정교함을 높이는 데 사용되었습니다.
Concept · 03

Embedding & Clustering

텍스트를 벡터로 변환하여 유사도 기반으로 데이터를 그룹화하는 머신러닝 기법입니다.

  • 상담 데이터에서 중복되는 유형을 식별하고 카테고리를 자동 생성하는 파이프라인의 첫 단계로 구현되었습니다.