CUDA 없는 AMD 그래픽카드로 AI 영상 편집? 잡담 자동 제거 프로그램을 직접 만들어봤다
영상 편집을 해본 사람이라면 다들 공감할 겁니다. 촬영 원본을 돌려보면 정작 필요한 내용보다 "음…", "어…", "그니까…" 하는 군더더기와 잠깐의 침묵, 쓸데없는 잡담이 절반이라는 사실을요. 이 부분을 일일이 찾아 잘라내는 게 편집 시간의 대부분을 잡아먹습니다. 저 역시 매번 타임라인을 앞뒤로 긁어가며 "여기 자르고… 저기 자르고…"를 반복하다 지쳐서, 아예 이 과정을 자동화하는 프로그램을 직접 만들어보기로 했습니다.
어떤 프로그램을 만들었나
목표는 단순합니다.
영상을 넣으면 AI 음성 인식으로 말한 구간을 전부 텍스트로 뽑아낸다
화면에 구간별 대사가 시간과 함께 목록으로 뜬다
잡담·군더더기 구간을 체크하면(자동 추천 버튼도 있음)
그 구간만 잘라내고 나머지를 이어붙인 완성 영상(mp4) 과 컷 리스트(txt) 를 만들어준다
음성 인식 엔진으로는 오픈소스로 잘 알려진 Whisper를 사용했습니다. 파이썬과 Tkinter로 GUI를 붙였고, 영상 자르기와 오디오 추출은 ffmpeg에 맡겼습니다. 여기까지는 비교적 순조로웠습니다. 문제는 그다음이었습니다.
첫 번째 벽 — 너무 느리다
1시간 30분짜리 강의 영상을 넣고 인식을 돌렸더니, 진행률이 거북이처럼 기어갔습니다. 원인은 명확했습니다. 제 PC는 음성 인식을 CPU로만 돌리고 있었거든요. AI 연산은 그래픽카드(GPU)로 돌려야 빠른데, 정작 GPU를 못 쓰고 있었던 겁니다.
"그럼 GPU 가속을 켜면 되지" 싶었지만, 여기서 두 번째 벽에 부딪혔습니다.
두 번째 벽 — 내 그래픽카드는 AMD다 (CUDA를 못 쓴다)
AI 분야에서 GPU 가속이라고 하면 보통 CUDA를 떠올립니다. 그런데 CUDA는 NVIDIA 전용 기술입니다. 제 PC에 달린 건 AMD Radeon RX Vega였고, 대부분의 Whisper 구현체(faster-whisper 등)는 AMD GPU를 지원하지 않습니다. 즉, 흔히 알려진 방법으로는 제 그래픽카드로 AI 가속을 할 수가 없었습니다.
여기서 포기하는 사람이 많을 텐데, 사실 AMD 그래픽카드로도 AI 음성 인식을 GPU 가속할 방법은 있습니다. 저도 이번에 파고들면서 알게 된 사실입니다.
AMD에서 GPU 가속하는 세 가지 길
찾아보니 방법은 크게 세 가지였습니다.
OpenCL(CLBlast): whisper.cpp의 OpenCL 빌드를 쓰면 AMD GPU로도 가속됩니다. 다만 인코더(앞단)만 GPU로 돌고 디코더(뒷단)는 여전히 CPU라, 생각보다 극적이진 않았습니다. 그래도 CPU만 쓸 때보다는 확실히 빨랐습니다.
Vulkan 빌드: 이론적으로 가장 정석이지만, 소스를 직접 컴파일해야 하고 Visual Studio 빌드 도구와 Vulkan SDK(수 GB)를 깔아야 해서 진입 장벽이 높았습니다.
Direct3D 11 (Const-me/Whisper): 윈도우 그래픽 API인 Direct3D로 Whisper를 통째로 GPU에서 돌리는 구현체입니다. 인코더·디코더 전부 GPU에서 처리됩니다.
이 중 마지막 Const-me/Whisper가 신의 한 수였습니다.
결과 — 체감 10배 이상 빨라졌다
세 방식을 같은 조건(base 모델, 동일한 오디오)에서 비교해봤습니다.
방식 처리 시간 GPU 사용 범위
CPU 전용 매우 느림 없음
whisper.cpp (OpenCL) 약 23초 인코더만
Const-me (Direct3D11) 약 2.3초 전체(모델을 VRAM에 적재)
같은 작업이 10배 이상 빨라졌습니다. 실행해보면 프로그램이 "Radeon RX Vega" 그래픽카드를 직접 잡아서, 모델을 그래픽카드 메모리(VRAM)에 올려 돌리는 걸 확인할 수 있었습니다. NVIDIA CUDA 없이 AMD 그래픽카드만으로 AI 음성 인식을 제대로 가속한 겁니다. 아까 그 1시간 30분짜리 영상도 이제는 부담 없이 처리됩니다.
만들면서 얻은 교훈 몇 가지
"AI 가속 = NVIDIA/CUDA"는 고정관념이다. AMD 그래픽카드도 OpenCL, Vulkan, Direct3D 같은 우회로가 분명히 존재합니다.
오디오는 16kHz 모노 WAV로 뽑아 넣는 게 정석이다. Whisper는 어차피 내부에서 16kHz 모노로 변환하기 때문에, 굳이 고음질 원본을 통째로 넣을 필요가 없습니다. 미리 오디오만 추출하면 처리도 가볍고 안정적입니다.
작은 모델이 실용적일 때가 많다. 잡담 구간을 골라내는 용도라면 완벽한 받아쓰기가 필요 없습니다. base 정도 모델이면 충분히 빠르고 정확했습니다.
한글 폴더 경로 같은 사소한 함정도 조심해야 한다. 일부 프로그램은 한글이 든 경로의 파일을 못 여는데, 이런 건 실제로 돌려보기 전엔 모릅니다.
마치며
처음엔 "내 AMD 그래픽카드로는 안 되겠지" 하고 반쯤 포기했는데, 방법을 찾아 파고드니 결국 CPU 대비 10배 빠른 AI 영상 편집 도구를 손에 넣게 됐습니다. 이제 촬영 원본을 넣고 잡담만 체크하면 완성본이 뚝딱 나옵니다. 편집 시간이 확 줄었습니다.
혹시 저처럼 AMD 그래픽카드를 쓰면서 "AI는 NVIDIA 아니면 안 된다"고 생각하셨다면, 꼭 한 번 다른 길을 찾아보시길 권합니다. 생각보다 방법은 많습니다. 다음 글에서는 실제 사용법과 잡담 자동 추천 기능을 좀 더 자세히 소개해보겠습니다.