GPU 연산을 분리한 비동기 처리 아키텍처 설계
·
개발 기록/프로젝트 - BUKAE
0. 서론현재 진행 중인 프로젝트 BUKAE는 실제 창업을 전제로 준비 중인 서비스다.이 프로젝트는 다음과 같은 현실적인 조건을 가진다.전체 예산이 제한적이다.고성능 GPU는 학교에서 대여한 서버를 사용한다.영상 인코딩이라는 고부하 워크로드를 포함한다.영상 생성 시 크레딧(금전성 자산)이 실제로 소모된다.즉, 이 프로젝트는 성능, 비용, 안정성, 신뢰성을 동시에 고려해야 하는 구조다.이 글은 이러한 환경에서GPU 연산을 API 서버에서 분리하고, 비동기 워커 기반으로 처리하도록 설계한 아키텍처에 대한 정리다. 1. 프로젝트의 제약 조건1.1 비용과 인프라 제약이 프로젝트는 다음과 같은 제약을 전제로 한다.웹/API 서버는 소수의 CPU 인스턴스로 운영해야 한다.GPU 서버는 학교에서 빌린 자원이므로 항상..