#AI

인간과 AI, 함께 데이터를 탐험하다 - BDA 2.0 서비스의 탄생, 현재 그리고 미래

Summary

개발자 없이 도메인 전문가가 직접 설계하는 초정밀 Text-to-SQL 에이전트, BDA 2.0

Expert-In-The-Loop 디자인으로 완성한 인간과 AI의 긴밀한 데이터 분석 공생 인프라

본 아티클은 데이터 전문가가 직접 대화형 AI 에이전트를 빌드하고 학습시킬 수 있는 차세대 플랫폼 BDA 2.0의 개발 스토리와 핵심 가치를 조명합니다. 높은 정확도의 SQL 변환을 지원하기 위한 테스트 세트 검증 및 자동 최적화 루프를 통해 비개발 중심의 AI 운영 환경을 성공적으로 개척한 노하우를 전달합니다.

01자연어-SQL 변환 성능 향상을 위해 도메인 전문가의 지식을 UI 기반으로 집약하는 플랫폼 설계
02학습 메타데이터와 테스트 세트(Train/Test Set)를 사용자가 직접 업로드하고 검증할 수 있는 Lab 환경 구축
03AI의 제안에 따라 가이드를 보완하고 반복 개선해주는 'AI Optimization' 자동화 기능 제공
04사용자가 능동적으로 AI 학습에 개입하는 인간-AI 공생 협업(Symbiotic Mode) 최적의 활용 케이스 제시

RECOMMENDATION

Text-to-SQL 및 도메인 특화 에이전트를 비즈니스에 밀착 적용하고자 하는 플랫폼 기획자, 데이터 엔지니어, 서비스 설계자에게 이 아키텍처를 적극 추천합니다.

The Problem

자연어-SQL 변환 정확도가 높은 LLM 에이전트를 개발하기 위해 도메인 전문가와 개발자 간의 긴밀한 협업이 필요했으나, 이 과정은 대량의 시간과 인적 자원이 소모되고 데이터 변동 대응에 비효율적이었습니다.

The Solution

개발 지식이 없는 도메인 전문가도 웹 UI를 통해 특화 에이전트를 직접 생성, 테스트, 배포할 수 있는 Expert-In-The-Loop(EITL) 기반의 BDA 2.0 플랫폼을 구현하였습니다.

The Result

에이전트 개발을 위한 전문가-개발자 간의 커뮤니케이션 오버헤드를 해소하고, 웹 기반 Lab을 통해 학습 메타데이터 입력, 테스트 세트 검증 및 AI 기반 성능 자동 최적화를 단일 플랫폼 내에서 해결하였습니다.

Trade-off

비전문가의 가이드 데이터 질에 따라 에이전트의 SQL 생성 성능 편차가 발생할 수 있으며, 자동화 최적화(AI Optimization) 역시 지정된 횟수 내에서만 동작하므로 완전한 정교화에는 한계가 존재합니다.

Key Concepts

Concept · 01

Expert-In-The-Loop (EITL)

Human-In-The-Loop의 특수 형태로, 특정 전문 영역(법률, 의학, 데이터 분석 등)의 지식을 갖춘 현업 전문가가 직접 피드백 루프에 참여하여 AI 모델을 지속적으로 고도화하는 설계 방식입니다.

BDA 2.0에서 개발자의 조력 없이도 도메인 지식 전문가가 직접 학습 데이터를 튜닝하고 에이전트를 관리할 수 있게 하는 설계 사상으로 동작합니다.

Concept · 02

Text-to-SQL

인간의 자연어 질의를 컴퓨터가 데이터베이스에서 직접 이해하고 실행할 수 있는 정교한 SQL 쿼리문으로 변환하는 생성형 AI 기술입니다.

사용자가 복잡한 쿼리를 손수 작성하지 않고도 자연어 질문만으로 필요한 데이터와 시각화 결과를 즉각 도출할 수 있도록 지원합니다.

Concept · 03

AI Optimization

에이전트 검증 결과가 미흡할 경우, AI 스스로 추가적인 데이터 학습 가이드를 제안하고 정해진 횟수만큼 자동 반복하여 성능을 점진적으로 향상시키는 자가 최적화 메커니즘입니다.

Lab 화면 내에서 테스트 세트의 변환 실패 원인을 분석하여 AI 추천 지침에 따라 자동으로 모델 성능을 상향 보완하는 인터랙션에 적용되었습니다.

Continue reading · same source

More from Samsung Tech

View all posts from Samsung Tech

인간과 AI, 함께 데이터를 탐험하다 - BDA 2.0 서비스의 탄생, 현재 그리고 미래

Summary