#AI

LLM은 똑똑한데, 왜 우리 회사 일은 모를까

Summary

똑똑한 LLM이 우리 회사 일만 모르는 이유, 토스는 'Topic'으로 해결했다

문서부터 메신저, 코드까지 파편화된 사내 지식을 유기적으로 엮어내어 신뢰할 수 있는 단일 컨텍스트 레이어를 구축하는 전략

성능이 뛰어난 대형언어모델(LLM)이라도 지속해서 변경되는 사내 지식의 최신성과 일관성까지 직접 검증해 내기는 어렵습니다. 토스는 단순한 지식 검색(RAG)을 넘어 문서, 대화 내용, 소스 코드를 유기적으로 연결하고 관리하는 공통 컨텍스트 계층인 Topic 시스템을 구축했습니다. 이 아티클은 신뢰성 있는 사내 지식 관리를 위해 정합성 판단의 6대 축을 정의하고 이를 자동 및 수동 파이프라인으로 구현해 낸 기술적 여정을 소개합니다.

01단순 검색 점수 통합 대신 Granularity, Faithfulness, Staleness 등 6가지 신뢰 지표를 기준으로 설계된 정밀한 검증 프로세스
02마크다운 문서의 제목 계층 구조를 그대로 유지하며 텍스트가 조각나 의미가 훼손되는 현상 방지
03슬랙 등의 사내 메신저 대화를 단순 단건 메시지가 아닌 하나의 완결된 의사결정 단위 스레드로 분석하고 결정 상태를 명확히 요약
04파일 단위가 아닌 파서로 추출한 코드 심볼 구조 위에 비즈니스 로직 단위의 Semantic Card를 구축하여 실제 코드 위치와 상시 대조 검증
05띄어쓰기 및 대소문자 수정을 넘어 복잡한 사내 전용 약어와 중복 개념의 정합성을 안전하게 병합하는 Synonym Proposal 프로세스 설계

RECOMMENDATION

RAG 및 LLM 기반의 사내 업무 보조 봇을 개발하고 있으나 답변의 정확도와 최신성 판단 부재로 한계를 느끼고 있는 플랫폼 설계자 및 테크 리더들에게 추천합니다. 지식 검색 그 자체보다 정보의 유효 생명 주기와 출처 간 불일치를 다루는 공통 계층의 가치에 대한 훌륭한 이정표를 제시합니다.

The Problem

사내 정보가 문서, 코드, 메신저 등에 흩어져 있어 LLM이 단순히 RAG 기반의 검색을 수행하더라도 해당 정보가 최신인지, 실제 구현 코드와 일치하는지 등의 신뢰성을 스스로 판단하기 어렵습니다. 이러한 불일치는 개별 에이전트가 매번 모순을 해석하게 만들어 답변의 일관성을 떨어뜨리는 배경이 됩니다.

The Solution

토스는 흩어진 지식의 원본 데이터를 일관된 공통 형식인 ContentUnit으로 정규화하고 최신성과 정합성을 보장하는 지식 공통 계층인 Topic 시스템을 설계했습니다. 문서는 계층 구조를 보존하고, 메신저는 스레드 단위로 최종 결정 사항을 요약하며, 코드는 심볼 파싱과 LLM 탐색 에이전트를 결합하여 비즈니스 로직 카드 형태로 상호 연결하여 관리합니다.

The Result

검색에 의존하던 기존 방식에서 벗어나 정보의 출처, 선후 관계, 최신 여부와 충돌 상태까지 명확히 제공함으로써 에이전트와 팀원이 모두 동일하게 신뢰할 수 있는 사내 컨텍스트 레이어를 구축했습니다. 문서와 코드 사이의 불일치(Supported by 또는 Contradicted by 등)를 체계적으로 인지하고 수정할 수 있는 검증 기반을 마련했습니다.

Trade-off

사내 약어나 프로젝트 별칭 등을 자동 병합할 때 정보의 오염을 방지하기 위해 완전 자동화 대신 Synonym Proposal을 통해 사람이 직접 검증하고 승인하는 번거로운 수동 개입 단계가 동반됩니다. 또한 코드의 변화를 추적하여 Semantic Card를 생성하고 줄 단위 위치 정합성을 지속 검사하는 데 적지 않은 에이전트 실행 리소스와 규칙 검증 비용이 수반될 것으로 파악됩니다.