#AI

생성형 AI 기술로 고전 드라마 화질을 4K급으로 개선

Summary

추억의 옛날 예능·드라마를 TV에서 4K 명작 화질로 다시 만나는 놀라운 기술

삼성 TV Plus가 비디오 디퓨전 모델과 시공간 타이링 기법으로 정복한 차세대 미디어 리마스터링

과거 아날로그 환경에서 제작된 고전 콘텐츠를 4K 화질로 자동 리마스터링하는 최첨단 생성형 AI 파이프라인을 공유합니다. 비디오 처리 시 발생하는 고질적인 문제인 프레임 깜빡임과 GPU 메모리 고갈 장벽을 어떻게 해결했는지 상세히 다룹니다. 성능 극대화를 넘어 상용 서비스 런칭을 위해 거친 최적화 및 실무 병렬 처리 설계 노하우를 담고 있습니다.

01전통적 보간법 및 신호 처리의 한계를 뛰어넘어 소실된 미세 디테일까지 인공지능이 직접 복원
02Video Diffusion Model 기반 알고리즘 도입을 통한 프레임 간 자연스러운 시공간 일관성 유지와 화면 떨림 근절
03GPU 메모리 제한 극복을 위해 고안된 시공간적 타이링(Tiling) 및 Global Key-Value Attention 공유 메커니즘
04실제 비즈니스 요구사항에 맞춤형으로 구현한 Scene 단위 병렬 GPU 비디오 파이프라인 아키텍처
05알고리즘 경량화와 샘플링 최적화 프로세스를 통과해 실제 삼성 TV Plus 서비스 상용화 달성

RECOMMENDATION

생성형 AI 모델을 실제 프로덕션 환경에 서빙하며 대용량 동영상 처리의 자원 한계와 시간적 일관성 이슈를 풀고자 하는 AI 엔지니어 및 미디어 도메인 아키텍트에게 실질적인 설계 방향성을 제시합니다.

The Problem

기존의 이미지 기반 생성형 초해상도 모델은 고전 영상 특유의 복합적인 아날로그 잡음을 정교하게 제거하지 못하고, 연속된 비디오 프레임 간의 일관성이 부족해 화면이 떨리는 문제가 있었습니다. 또한 GPU의 메모리 크기 제약으로 인해 실무에서 필요로 하는 수시간 분량의 고해상도(4K) 비디오 처리를 직접 수행할 수 없었습니다.

The Solution

포항공대와 협력하여 프레임 간 시간적 일관성을 보장하는 Video Diffusion Model을 도입하였으며, GPU 한계를 극복하기 위해 시공간 단위로 영상을 분할 처리하는 시공간적 타이링(Tiling) 기법과 Global Key-Value Attention 전파 메커니즘을 적용했습니다. 대규모 상용 서비스를 위해 생성 모델의 샘플링 횟수 최적화 등 모델 경량화를 단행하고 Scene 단위 병렬 처리가 가능한 GPU 서버 파이프라인을 구축했습니다.

The Result

20여 년 전 아날로그 포맷의 저화질 영상에서 소실된 이목구비 디테일과 컬러를 4K 수준의 시간적 끊김과 떨림이 없는 고품질 비디오로 복원하는 데 성공했습니다. 현재 해당 알고리즘은 실제 삼성 TV Plus '리마스터드 채널' 서비스에 적용되어 고전 명작들을 안정적으로 실시간 스트리밍 서비스하고 있습니다.

Trade-off

경량화 및 샘플링 횟수 최적화를 거쳤음에도 생성형 AI 모델 특유의 높은 연산 복잡도와 인프라 비용 부담이 존재하며, 원본에 없던 정밀한 가상의 디테일을 복원 과정에서 예측하여 생성하기 때문에 미세하게 원본 의도와 다른 형태가 그려질 위험성이 존재합니다.