AI 토큰 사용량 전사 1위 개발자가 148,000번의 대화에서 배운 것
Summary
100억 토큰과 148,000번의 대화가 증명한 '진짜 일 잘하는 AI' 협업 전략
단순 '딸깍' 코딩을 넘어 탐색부터 기록까지 AI를 완벽히 통제하는 오케스트레이터의 6단계 실전 프레임워크
사내 AI 토큰 사용량 1위 개발자의 실제 53일간 데이터를 기반으로, AI 생산성을 극대화하는 오케스트레이션 설계 기법을 다룹니다. AI가 반복해서 범하는 5가지 실패 패턴과 이를 교정하는 방법론을 체계적으로 짚어내고 있습니다. 개발자가 단순히 코드를 작성하는 역할에서 벗어나 AI 협업을 설계하고 조율하는 '오케스트레이터'로 진화해야 하는 당위성과 실행 전략을 보여줍니다.
- 01개발자의 핵심 노동이 직접적인 코딩(구현)에서 분해, 플래닝, 검증 영역으로 전환됨을 입증
- 02고품질 구현의 출발점은 생성이 아닌 '탐색'이며, 데이터 분석을 통해 코드 읽기와 쓰기 비율의 이상적 수치(10:1) 제시
- 03원인 축소, 가설 고착 등 AI가 반복적으로 저지르는 5가지 구체적인 실패 패턴 정의 및 실무 모니터링 대응 기법 공유
- 043~5개의 탐색 에이전트를 동시에 실행하여 의존성, 기존 컨벤션, 비즈니스 규칙을 한 번에 확보하는 병렬 탐색 기법 활용
- 05풍부한 맥락(Context) 확보가 제공되었을 때 AI의 재작업 비율이 그렇지 않을 때보다 3~4배 이상 감소하는 극적인 효율 개선 입증
RECOMMENDATION
AI 코파일럿이나 대화형 AI를 업무에 도입했으나 여전히 잦은 오류와 수동 수정으로 한계를 느끼던 리드 개발자 및 아키텍트들에게 강력히 추천합니다. AI 에이전트를 단순 비서가 아닌 자율적인 파이프라인으로 구축하는 통찰을 얻을 수 있습니다.
The Problem
개발자가 AI를 단순 질의응답이나 코드 생성 수준으로 활용하면서 생산성 향상에 한계를 겪고 있으며, 컨텍스트 정보의 결여로 인해 AI가 가설에 고착되거나 원인을 오판하는 등의 반복적인 실패 패턴을 보이는 문제를 해결해야 했습니다.
The Solution
작업 단위를 '탐색-플래닝-분해-구현-검증-기록'의 6단계로 체계화하고, 도구 호출 시 읽기와 쓰기 비율을 10:1로 설정하여 병렬 탐색 에이전트를 활용해 고품질의 풍부한 컨텍스트를 확보하는 오케스트레이션 방식을 도입했습니다.
The Result
53일간 약 100억 토큰을 활용하면서 에이전트를 조율하는 방식으로 전환한 결과, 풍부한 컨텍스트 전달 덕분에 수동 재작업 비율을 3~4배 가까이 줄였으며, 개발자의 역할을 고차원 기획 및 플래닝으로 정의하는 생산성 혁신을 달성했습니다.
Trade-off
컨텍스트의 품질을 높이기 위해 코드베이스와 문서를 심층 탐색하는 사전 인터뷰 및 설계(플래닝)에 긴 시간(30분~2시간)을 투자해야 하며, 에이전트의 컨텍스트 윈도우 크기 한계로 인해 무제한적인 정보 입력은 불가능하여 정교한 정보 필터링 관리가 동반되어야 합니다.
Key Concepts
More from 컬리
View all posts from 컬리
AI에게 도메인을 가르치다 두 번 갈아엎은 이야기 — LLM Wiki + RAG 혼합기
RAGLLMSQLite3개월 전
현관문에도 얼굴이 있다: 배송 완료 사진 기반 On-device 오배송 탐지 시스템
ONNXContrastive LearningDocumentDB4개월 전
클로드 코드로 개발 팀장의 하루를 재설계한 이야기
Claude CodeMCPWorkflow Automation4개월 전
AI 에이전트 15개를 동시에 굴리는 법 — AI 병렬 오케스트레이션 실전 운용기
AI AgentsOrchestrationObsidian4개월 전
Nx에서 Bun 더 잘 사용하기: Nx 18 -> 21 마이그레이션
NxBunMonorepo7개월 전
