AI Native 조직은 도메인 지식을 어떻게 공유하는가
Summary
자신만만하게 틀리는 AI는 가라! 무신사가 AI 에이전트들을 똑똑하게 통제하는 비결
국제 표준 Core와 조직 특화 Overlay를 결합한 '2층 시맨틱 레이어'로 일관된 AI 지식 인프라를 구축하다
본 아티클은 다수의 AI 에이전트와 인간 개발자가 같은 코드를 공유하는 시대에 조직 고유의 도메인 지식을 일관되게 학습시키는 실전 아키텍처를 제시합니다. 단순 텍스트 문서의 한계를 극복하기 위해 개념 간의 관계를 설계한 시맨틱 레이어를 구현하고, 정적 지식의 왜곡을 방지하기 위해 실제 코드베이스 검색 검증을 결합한 든든한 AI 그라운딩 여정을 소개합니다.
- 01국제 도메인 표준(Core)과 시시각각 변하는 우리 조직만의 규칙(Overlay)을 ID 기반으로 매핑한 2층 지식 구조 설계
- 02에이전트가 넓은 코드베이스를 헤매지 않도록 타겟 엔티티와 파일 위치를 좌표로 가리키는 기계 친화적 개념 그래프 도입
- 03시맨틱 레이어를 '나침반' 삼고 현재 구현된 동작의 팩트는 코드베이스에서 추적하는 철저한 온디맨드 검증 프로세스
- 04운영 경험이 반영된 Overlay의 최신화를 위해 자동 제안 시스템과 인간 편집자의 승인을 결합한 지속 가능 지식 루프
- 05150개 도메인 질문 실험을 거쳐 난이도가 높고 복잡한 실무 규칙 질문에서 정량적 성능 향상을 입증
RECOMMENDATION
사내에 여러 코파일럿이나 AI 에이전트를 성공적으로 안착시키고 싶거나, 기하급수적으로 늘어나는 예외 처리와 도메인 규칙을 일관된 시스템으로 구조화하고자 하는 테크 리드 및 AI 플랫폼 엔지니어에게 필독을 권합니다.
The Problem
LLM은 학습된 표준 도메인 지식은 잘 이해하지만 조직 고유의 특수 프로세스나 예외 규칙을 몰라 오답을 생성하며, 다양한 AI 에이전트 도입에 따라 이들이 일관되게 공유할 수 있는 표준화된 도메인 지식 인터페이스가 부족한 문제가 있었습니다.
The Solution
산업 표준을 반영한 'Core' 계층과 조직 특화 지식을 담은 'Overlay' 계층으로 시맨틱 레이어를 이중화하여 기계가 읽기 쉬운 개념 그래프로 구축하고, 레이어를 나침반 삼아 실제 코드베이스에서 실시간으로 정답을 검색 및 교차 검증하는 코드 검증 루프를 도입했습니다.
The Result
150개 질문 세트로 평가한 결과, 답변 내 표준 개념 인용 횟수가 평균 1.6개에서 7.6개로 증가했고 기대 키워드 포함률은 67%에서 81%로 크게 올랐으며, 일반론이 통하지 않는 고난도 도메인 질문에서 LLM 평가 점수가 5.8에서 6.4로 눈에 띄게 개선되었습니다.
Trade-off
이 구조는 참조할 만한 산업 표준이 없는 도메인에는 적용하기 어렵고 흩어진 표준 파편을 Core로 정리하는 초기 편집 비용이 높으며, 시맨틱 레이어에만 의존할 경우 지식의 불균형으로 인해 그럴듯한 오답을 낼 우려가 있어 실제 코드 검색을 통한 최종 검증이 반드시 수반되어야 합니다.
Key Concepts
More from 무신사
View all posts from 무신사코딩만 빨라졌다고요? 아뇨, 일하는 방식이 다 뜯어고쳐졌습니다.
AIGenerative AISDLC6일 전MATCH란 무엇인가
CDPMachine LearningAudience Targeting1개월 전의심했던 범인은 알리바이가 있었다.
Java Flight RecorderSpring BatchAurora MySQL1개월 전
LLM 비용 64% 절감, 캐시 히트율 98% 달성기
AWS BedrockPrompt CachingLangChain4j1개월 전
VLM을 쓰지 않은 이유: Geometric Prior로 25배 빠른 의류 디테일컷 자동화
Object DetectionAWS LambdaComputer Vision3개월 전
