
비동기 쿼리 빌더부터 머신러닝 프로파일링까지, 데이터 분석가가 직접 완성한 오디언스 빌더 파이프라인
본 아티클은 개발 경험이 없는 데이터 분석가가 최근 급부상한 AI 에이전트와 바이브 코딩(Vibe Coding) 기술을 영리하게 다뤄, 고도화된 마케팅 자동화 시스템을 단독 구축한 비하인드 스토리를 담고 있습니다. BigQuery와 PostgreSQL을 하이브리드로 결합하여 대규모 명단을 실시간에 가깝게 동적 연산하며, 마케팅 툴별 싱크 방식을 유연하게 조정한 파이프라인 설계 방식이 매우 돋보입니다. 나아가 단순한 추출 자동화를 넘어 LightGBM 모델을 적용한 프로파일링 분석 기능까지 확장하여 마케팅의 비즈니스 임팩트를 정량화한 수준 높은 엔지니어링 사례입니다.
조직 내 데이터 추출 병목으로 인해 개발자와 마케터 간 조율 비용이 커서 고민인 플랫폼 엔지니어 및 분석가분들께 최고의 바이블이 될 사례입니다. AI를 실무의 강력한 조력자로 활용하여 시스템을 구축하고 비즈니스 임팩트를 창출하려는 분들은 반드시 확인해보세요.
마케터가 특정 캠페인 대상자(오디언스)를 선정할 때 데이터 추출 담당자와 개발팀의 직접적인 협업이 필요하여 상당한 소통 비용과 시간이 소요되었습니다. 또한 추출된 명단이 고정되어 유저들의 실시간 상태 변화를 적시에 반영하지 못하고 낡은 유저 목록으로 캠페인을 진행해야 하는 리스크가 있었습니다.
데이터 분석팀이 주도하여 마케터가 UI 상에서 직접 조건 필터를 설정해 대상 유저를 추출하는 '오디언스 빌더'를 개발했습니다. 조건 등 가벼운 메타데이터는 PostgreSQL에, 대용량 명단 연산은 BigQuery에 분할 배치하고, 런타임에 동적으로 SQL을 빌드하여 비동기로 처리하는 백엔드 아키텍처를 설계하고 S3, Kafka 및 REST API를 통해 마케팅 채널에 동기화되도록 구현했습니다.
기존에 2~3일씩 소요되던 타겟 추출 및 적재 프로세스가 마케터 한 명이 10분 만에 마칠 수 있도록 획기적으로 개선되었습니다. 유관 부서의 수동 리소스 낭비가 해결되었으며 최신 유저 정보를 토대로 한 시의성 높은 실시간성 마케팅 캠페인 운영이 가능해졌습니다.
Trade-off
비개발자 중심의 AI 에이전트 기반 개발(바이브 코딩)로 개발되었기에, 배포 권한 획득이나 외부 데이터 인프라 연동 등의 민감한 영역에서는 타 인프라 및 전담 개발 조직의 수동 지원을 전적으로 받아야 했습니다. 또한 유저 프로파일링 예측 모델의 경우 빠른 검증을 위해 계절성 변수를 제외하고 단 일주일 치 탐색용 데이터로 학습을 간소화하는 스펙 타협이 이루어졌습니다.
유저의 행동적 특성(예: 회원 등급, 최근 구매일, 선호 쇼핑 카테고리 등)을 미리 연산하여 중앙 저장소에 축적하고 관리해 실무에서 즉시 안전하게 소비하도록 돕는 플랫폼입니다.
인간 개발자가 전체 코드 라인을 직접 한 땀 한 땀 구현하지 않고, 개발 프롬프트와 에이전트(AI)에 정교한 비즈니스 스펙 및 규칙 맥락을 주입하며 결과물을 조율 및 병합해 나가는 현대적인 AI 동반 개발 방식입니다.
수천만 행 수준의 대규모 데이터 조회가 일어나는 쿼리 연산 시 화면 차단이나 타임아웃을 막기 위해, 요청 즉시 작업 번호만 반환하고 백그라운드 스레드에서 주기적으로 체크하여 완료하는 구조입니다.








