"알아서 정확하게 응답줬으면.." RAG부터 에이전트까지 사내 AI 챗봇 구축기 2부
Summary
알아서 고치고 되묻는 똑똑한 챗봇의 탄생, RAG에서 에이전트로 마이그레이션한 포스타입 이야기
답답했던 단순 RAG 챗봇을 AWS Bedrock Agents를 통해 자율적으로 판단하고 SQL을 검증하는 만능 사내 어시스턴트로 전환한 실전 기록
단순히 정해진 문서만 검색해 보여주던 사내 챗봇이 한계를 마주하자, 포스타입 팀은 지능형 에이전트 아키텍처로의 전환을 시도했습니다. 스스로 SQL 실행 계획(EXPLAIN)을 검증하고 잘못된 쿼리를 수정하며, 이전 대화를 기억해 맞춤형 답변을 내놓는 혁신적인 변화를 이루어냈습니다. RAG의 한계를 넘어 실무 생산성을 획기적으로 올린 백엔드 엔지니어의 깊이 있는 에이전트 전환기를 만나보세요.
- 01기존 RAG의 문서 혼재 문제를 해결하기 위해 오직 소스코드만 지식 베이스에 적재하는 극단적이고 확실한 검색 품질 개선 전략 채택
- 02클래스 간 호출 관계를 추적하여 연관 코드를 모두 탐색하는 메타데이터 필터링 기반 다층 검색 전략 도입
- 03AWS Bedrock Agents의 Action Group을 활용해 EXPLAIN 명령어로 DB에 실제 영향을 주지 않고 SQL 구문을 사전에 스스로 검증하도록 설계
- 04대화의 맥락을 유지하기 위해 DynamoDB 대신 완전 관리형 Bedrock Agents 내장 메모리 기능을 적용하여 설계 복잡도 해소
- 05에이전트의 실시간 추론 과정을 CloudWatch에 철저히 로깅하여 투명하게 응답 과정을 모니터링 가능하도록 구현
RECOMMENDATION
단순 RAG 방식의 챗봇이 컨텍스트를 상실하거나 틀린 답변을 양산하는 문제를 겪고 있는 AI 실무자들에게 추천합니다. 완전 관리형 AWS Bedrock Agents를 사용하면 서버리스하게 자율 에이전트를 구축할 수 있어 개발 리소스를 아끼는 지름길이 될 것입니다.
The Problem
기존 RAG 기반 슬랙 봇은 복잡한 질문에 대해 연관 컨텍스트를 충분히 가져오지 못하거나 다수의 테이블 스키마가 섞여 오답을 출력하는 한계가 있었습니다. 특히 연속적인 대화 과정에서 이전 컨텍스트를 유지하지 못하고, 생성된 SQL의 유효성을 사전에 검증하기 어려웠습니다.
The Solution
검색 품질 향상을 위해 소스코드 위주의 지식 저장소 적재와 다층 검색 전략을 도입하였고, 단기 및 장기 메모리와 액션 그룹(Action Group)을 통한 자율적 실행 능력을 갖춘 AWS Bedrock Agents 기반으로 아키텍처를 고도화했습니다.
The Result
에이전트 전환 이후 모호한 질문에 대해 되물어보는 대화가 가능해졌고, 생성된 SQL의 구문 오류를 스스로 분석하고 수정하여 최종 정확도가 상승했으며 최근 한 달간 약 310회의 질문에 능동적으로 올바른 답변을 전달했습니다.
Trade-off
Bedrock Agents 구조를 도입하면서 기존의 단순 RAG 방식에 비해 인프라 비용과 흐름 설계의 복잡성이 커졌습니다. 또한 소스코드 기반의 원활한 동작을 위해 비개발자를 고려한 기술 용어 사전을 시스템 프롬프트에 지속적으로 추가하고 수정 관리하는 휴먼 리소스가 요구됩니다.
Key Concepts
More from 포스타입
View all posts from 포스타입
Related reads#AWSBedrock
Explore #AWSBedrock
기술이 없던 곳에 기술 더하기: 사내 해커톤 플랫폼 만들기
LLM 비용 64% 절감, 캐시 히트율 98% 달성기
우아한공방의 새로운 동료, 시스템 맥락을 가진 챗봇서비스 개발기(feat. RAG)
포스타입 캐릭터톡 출시기 1부