#AI

업무 생산성 향상을 위한 Agentic RAG 기반 서비스

Summary

삼성리서치가 밝히는 'Lost in the Middle' 극복기: 멀티 에이전트 RAG로 업무 효율 극대화하기

단순 요약을 넘어 다중 문서 분석과 다양한 포맷의 산출물까지 자동화하는 'DeepDive' 아키텍처 핵심 요약

삼성리서치에서 개발한 사내 문서 분석 및 보고서 작성 자동화 서비스 'DeepDive'의 개발 여정을 다룹니다. 긴 문서 처리 시 발생하는 LLM의 한계를 극복하기 위해 계층적 클러스터링 기반 요약을 적용하고, 멀티 에이전트 협업 구조를 통해 복잡한 다중 문서 분석을 최적화한 실무적인 엔지니어링 전략을 소개합니다.

01LLM의 한계인 'Lost in the Middle'을 극복하기 위한 계층적 데이터 처리 및 클러스터링 기반 요약 기법 도입
02Coordinator, Planner, Supervisor 등 역할이 세분화된 멀티 에이전트 오케스트레이션 아키텍처 설계
03Query Rewrite를 활용해 모호한 사용자의 질문을 검색 및 모델에 최적화된 구체적인 질의로 자동 변환
04Document Profiling을 통해 사용자 대기 시간(sleep-time) 동안 사전 메타데이터를 구축하여 실시간 응답 속도 및 GPU 효율 최적화
05단일 문서 분석을 넘어 웹, DB, 학술 논문 등 이기종 데이터 소스를 종합하는 다중 문서 RAG 워크플로우 구현

RECOMMENDATION

사내 지식 관리 시스템(KMS)이나 대규모 문서 분석용 RAG를 구축하려는 백엔드 및 AI 엔지니어에게 추천합니다. 단일 LLM 호출의 한계를 극복하고 멀티 에이전트 구조로 복잡한 테스크 오케스트레이션을 구현하려는 팀에 훌륭한 나침반이 될 것입니다.

The Problem

방대한 사내외 문서를 분석하고 보고서를 작성할 때, LLM이 긴 문맥의 중간 정보를 인식하지 못하는 'Lost in the Middle' 현상과 긴 입력값으로 인한 추론 속도 및 응답 품질 저하 문제를 해결하고자 했습니다.

The Solution

멀티 에이전트 아키텍처를 도입하여 역할 분담 체계를 설계하고, 문서를 계층적으로 분할한 뒤 클러스터링 기반의 대표 청크 추출 및 재정렬을 수행하는 컨텍스트 최적화 기법과 Query Rewrite, Document Profiling 기술을 적용했습니다.

The Result

긴 문서 분석 시 포괄성과 핵심성 간의 우수한 균형과 함께 안정적이고 빠른 응답 속도를 확보했으며, 사전 프로파일링 연산을 통해 실제 질의 시 실시간 답변 속도와 GPU 리소스 사용 효율을 대폭 개선했습니다.

Trade-off

실시간 질의 속도를 높이는 대신 사용자가 질의하기 전 대기 시간(sleep-time) 동안 사전 문서 분석(Document Profiling)을 수행하기 위한 지속적인 백그라운드 컴퓨팅 리소스 및 비용이 수반되며, 멀티 에이전트 협업 과정에서 발생하는 오케스트레이션 오버헤드가 발생할 수 있습니다.