Read Original
#Backend

AI 스페셜리스트와 자동사냥 — 하네스로 제어하는 AI 파이프라인

AI 스페셜리스트와 자동사냥 — 하네스로 제어하는 AI 파이프라인
01

Summary

"슬로우 쿼리 잡는 AI 자동사냥 파티, '하네스'로 완성하다"

반복되는 DB 튜닝 업무를 7단계 AI 파이프라인으로 자동화하여 수 시간의 작업을 수 분으로 단축한 엔지니어링 사례

이 아티클은 백엔드 개발자의 숙명인 슬로우 쿼리 최적화 과정을 AI 에이전트로 자동화한 'query-engineer' 프로젝트의 여정을 다룹니다. 단순히 AI에게 질문하는 것을 넘어 '하네스(Harness)'라는 제어 구조를 통해 AI의 추론 능력을 극대화하고, 실무에 적용 가능한 수준의 결과물을 얻어내기 위한 구체적인 아키텍처와 설계 철학을 공유합니다.

  • 01'Agent = Model + Harness' 공식을 활용한 정밀한 AI 제어 설계
  • 02컨텍스트 부패(Context Rot)를 방지하기 위한 4개의 서브 에이전트 격리 구조
  • 03Claude와 OpenAI Codex를 이용한 최대 8개 관점의 AI 교차 코드 리뷰 루프
  • 04SQL Explain 및 실제 실행 결과를 실측하는 3단계 정합성 검증 스테이지
  • 05Next.js 웹 UI와 CLI 바이너리가 파이프라인 엔진을 공유하는 재사용 가능한 설계

RECOMMENDATION

반복적인 코드 수정 작업에 AI를 도입하고 싶지만 결과물의 품질이나 정합성 문제로 고민하는 엔지니어들에게 '하네스 설계' 관점을 강력히 추천합니다.

The Problem

반복되는 슬로우 쿼리의 탐지, 원인 분석, 코드 수정 및 PR 생성 과정이 백엔드 개발자의 많은 리소스를 소모하며, 범용 AI를 사용할 경우 코드베이스의 맥락 부족으로 인해 실질적인 해결책을 얻기 어려운 문제가 있었습니다.

The Solution

Claude와 OpenAI 등 LLM을 활용하되, 시스템 프롬프트와 서브 에이전트를 통해 컨텍스트를 격리하고 정합성 검증 및 코드 리뷰 루프를 포함한 7단계 자동화 파이프라인(query-engineer)을 구축하여 AI에 '하네스(Harness)'를 씌워 제어했습니다.

The Result

수동으로 수 시간 소요되던 슬로우 쿼리 최적화 프로세스를 수 분 이내로 단축하였으며, AI 간의 교차 검증과 SQL 실측 검증 단계를 통해 자동화된 결과물의 신뢰성과 정합성을 확보했습니다.

Trade-off

AI가 생성한 패치의 라인 번호가 어긋나거나 SQL 문법 오류가 발생할 가능성이 있어 패치 정규화기 및 4단계 폴백 전략과 같은 추가적인 보정 로직을 설계해야 했으며, 완전 자동 머지 대신 사람의 최종 승인을 거치는 구조를 선택했습니다.

03

Key Concepts

Concept · 01

하네스 (Harness)

AI 모델의 행동 공간을 좁히고 결과물의 품질을 보증하기 위해 설계된 시스템 프롬프트, 도구, 규약 등의 제어 장치입니다.

  • 시스템 프롬프트를 통해 AI의 역할을 JPA 전문가로 한정하고 출력 형식을 고정함
  • AI가 직접 파일을 수정하는 대신 하네스가 통제 가능한 패치 파일 형식으로 제안받음
Concept · 02

컨텍스트 부패 (Context Rot)

LLM의 컨텍스트 윈도우가 채워질수록 모델의 추론 능력과 태스크 수행 능력이 저하되는 현상입니다.

  • 하나의 AI가 모든 분석을 수행하는 대신 서브 에이전트를 통해 정보를 격리하여 전달함
  • 정찰조 에이전트를 통해 필요한 코드 조각과 DB 메타데이터만 선별적으로 제공함
Concept · 03

SQL Fingerprinting

SQL 쿼리 내의 리터럴 값을 변수화하여 서로 다른 파라미터를 가진 동일 구조의 쿼리를 하나의 패턴으로 그룹화하는 기술입니다.

  • 중복된 슬로우 쿼리 패턴을 하나로 합쳐 AI 분석의 효율성을 극대화함
  • AWS CloudWatch Logs Insights에서 수집된 대량의 로그를 구조적으로 정제하는 데 활용함