[OBS 스튜디오 완벽 가이드] 4K 고화질 영상 녹화 세팅법 (화질 저하 없이 해상도 높이기)

유튜브, 틱톡, 인스타그램 릴스 등 영상 콘텐츠의 시대가 도래하면서 누구나 한 번쯤 화면 녹화 프로그램인 OBS(Open Broadcaster Software)를 접하게 됩니다. OBS는 무료이면서도 강력한 기능을 제공하여 전 세계 수많은 크리에이터들의 필수 프로그램으로 자리 잡았습니다.

하지만 많은 분들이 OBS를 처음 설치하고 기본 설정 그대로 녹화를 진행했다가, 결과물의 화질이 뭉개지거나 픽셀이 깨져 실망하는 경우가 많습니다. 특히 다빈치 리졸브(DaVinci Resolve), 프리미어 프로(Premiere Pro), 캡컷(CapCut)과 같은 영상 편집 프로그램에서 특정 화면을 확대(Zoom-in)하거나 크롭(Crop)하는 컷 편집을 진행할 때 원본 소스의 해상도가 낮으면 영상의 퀄리티가 급격히 하락하게 됩니다.

선명하고 깨끗한, 소위 말하는 '쨍한' 고화질 영상을 얻기 위해서는 단순히 해상도 수치만 높이는 것이 아니라 비디오 설정, 인코딩 방식, 비트레이트, 그리고 고급 색상 설정까지 유기적으로 맞춰주어야 합니다. 오늘은 1080p FHD를 넘어 4K 해상도까지 화질 손실 없이 완벽하게 녹화할 수 있는 OBS 최적화 세팅 방법을 단계별로 상세하게 알아보겠습니다.

1. 비디오(Video) 탭: 해상도와 프레임의 기초 공사

가장 먼저 설정해야 할 부분은 녹화될 화면의 물리적인 도화지 크기를 결정하는 '비디오' 설정입니다. OBS 우측 하단의 [설정] 메뉴로 들어가 좌측의 [비디오] 탭을 클릭합니다.

① 기본 (캔버스) 해상도 이 항목은 여러분이 현재 사용하고 있는 모니터의 해상도, 혹은 최종적으로 만들고자 하는 영상의 최대 해상도를 의미합니다.

• 일반적인 모니터를 사용 중이라면 1920x1080 (FHD)을 선택합니다.
• 4K 모니터를 사용하거나, 4K 화질로 녹화하고 싶다면 3840x2160 (UHD)을 입력합니다. (만약 드롭다운 메뉴에 없다면 직접 숫자를 타이핑하여 입력할 수 있습니다.)

② 출력 (조정된) 해상도 여기가 화질 저하의 주범이 되는 곳입니다. 기본 해상도는 1920x1080인데, 출력 해상도가 1280x720으로 되어 있다면 어떻게 될까요? OBS가 화면을 강제로 축소(Downscale)하여 저장하기 때문에 화질이 흐려집니다.

• 반드시 기본 해상도와 출력 해상도의 숫자를 동일하게 맞춰주세요.
• 예: 기본 1920x1080 / 출력 1920x1080

③ 축소 필터 (Downscale Filter) 출력 해상도를 부득이하게 낮춰야 하거나, 소스 자체의 크기를 조절할 때 적용되는 필터입니다.

• 화질을 최우선으로 한다면 무조건 Lanczos (란초스, 36 샘플)를 선택합니다. 다른 필터(바이리니어 등)에 비해 경계선이 가장 선명하게 유지되며 화질 손실을 최소화하는 고급 필터입니다.

④ 공통 FPS 값 (프레임 레이트) 1초당 몇 장의 이미지를 보여줄 것인가를 결정합니다.

• 30 FPS: 일반적인 정보 전달용 영상, 블로그 리뷰, 정적인 화면 녹화에 적합합니다. 용량을 아낄 수 있습니다.
• 60 FPS: 게임 녹화, 빠른 화면 전환이 있는 튜토리얼, 부드러운 움직임이 필수적인 영상에 사용합니다. 최근 유튜브의 표준이 60프레임으로 넘어가고 있으므로, PC 사양이 허락한다면 60으로 설정하는 것을 권장합니다.

💡 꿀팁: 쇼츠(Shorts)나 릴스를 위한 세로 해상도 설정법 유튜브 쇼츠, 인스타그램 릴스, 틱톡 등 모바일 친화적인 세로형 영상을 제작할 때는 해상도를 반대로 입력해야 합니다. 비디오 탭의 해상도 설정 칸을 클릭하고 백스페이스로 지운 뒤, 직접 **1080x1920**이라고 타이핑하세요. 즉시 OBS 화면이 스마트폰 비율의 세로 캔버스로 변경됩니다.

2. 출력(Output) 탭: 화질을 결정짓는 인코딩의 마법

해상도라는 도화지를 넓게 펼쳤다면, 이제 그 위에 그림을 그리고 압축하여 저장하는 방식인 '출력' 설정을 만져야 합니다. 여기가 고화질 녹화의 핵심입니다.

OBS 설정에서 [출력] 탭으로 이동한 뒤, 가장 상단에 있는 '출력 방식'을 단순에서 고급으로 변경합니다. 그리고 나타나는 하위 탭들 중에서 [녹화] 탭을 클릭합니다.

① 녹화 형식 (포맷) 기본값은 보통 MKV나 MP4로 되어 있을 것입니다. 반드시 MKV로 설정하시길 강력히 권장합니다. MP4는 호환성이 좋지만 치명적인 단점이 있습니다. 녹화 도중 정전이 발생하거나, 컴퓨터가 다운되거나, 블루스크린이 뜨면 그 순간까지 녹화되던 파일 전체가 깨져서 재생 불가능 상태가 됩니다. 반면 MKV는 중간에 강제 종료되더라도 끊긴 시점까지의 영상이 100% 안전하게 저장됩니다.

• 편집 프로그램에서 MKV를 지원하지 않는다면? OBS 메인 화면 상단 메뉴바에서 [파일] - [녹화본 재다중화]를 클릭하세요. 저장된 MKV 파일을 불러오면 1~2초 만에 화질 손실 없이 완벽하게 MP4로 변환해 줍니다.

② 비디오 인코더 CPU를 쓸 것인가, 그래픽카드(GPU)를 쓸 것인가를 결정합니다. 고해상도 녹화를 CPU(x264)로 처리하면 컴퓨터가 심하게 느려집니다. 그래픽카드에 탑재된 전용 칩셋을 활용해야 합니다.

• NVIDIA 그래픽카드 사용자: NVIDIA NVENC H.264 (또는 HEVC)
• AMD 그래픽카드 사용자: AMD HW H.264 (또는 H.265)
• 내장 그래픽 사용자: QuickSync H.264

3. 데이터율 제어 (Rate Control): 고화질 녹화의 심장

인코더를 선택하면 그 아래에 '데이터율 제어'라는 설정이 나타납니다. 여기서 영상을 어떤 방식으로 압축할지 결정하는데, 화질과 파일 용량의 밸런스를 잡는 가장 중요한 단계입니다. 기본적으로 3가지 방식(CBR, VBR, CQP)이 존재합니다.

❌ 피해야 할 설정: CBR (고정 비트레이트) CBR은 데이터 전송량을 항상 일정하게 유지하는 방식입니다. 인터넷 방송(스트리밍)을 할 때는 네트워크 안정성을 위해 필수적이지만, '녹화'를 할 때는 최악의 선택이 될 수 있습니다. 화면이 복잡해질 때 더 많은 데이터가 필요한데 고정된 데이터만 할당되어 결국 화면에 깍두기 현상(픽셀화)이 발생하게 됩니다.

✅ 추천 설정 1: CQP 또는 CQ (고정 품질) - 화질 최우선주의 녹화 목적에 있어 가장 완벽하고 압도적인 화질을 보장하는 방식입니다. 데이터양에 제한을 두지 않고, 사용자가 지정한 '품질 수준'을 유지하기 위해 필요한 만큼의 데이터를 알아서 유동적으로 사용합니다.

• 데이터율 제어: CQP 선택
• CQ 수준 (CQ Level): 14 ~ 20 사이로 설정합니다.
• 숫자가 낮을수록 초고화질이 되며 파일 용량이 기하급수적으로 커집니다. 반대로 숫자가 높을수록 화질이 낮아지고 용량이 줄어듭니다.
• 추천값: 일반적인 고화질을 원한다면 20, 편집 시 화질 저하가 전혀 없는 원본급 화질을 원한다면 16 ~ 18을 추천합니다. 이 수준에서는 육안으로 원본과 녹화본을 구별하기 어렵습니다.

✅ 추천 설정 2: VBR (가변 비트레이트) - 화질과 용량의 타협점 CQP의 파일 용량이 너무 부담스럽다면 VBR이 좋은 대안입니다. 화면의 움직임이 적을 때는 데이터를 적게 쓰고, 움직임이 많을 때는 설정된 최대치까지 데이터를 끌어다 씁니다.

• 데이터율 제어: VBR 선택
• 비트레이트 (FHD 1080p 기준): 15,000 ~ 25,000 Kbps
• 비트레이트 (UHD 4K 기준): 40,000 ~ 60,000 Kbps
• 최대 비트레이트: 위에서 설정한 비트레이트 값보다 약 10,000 Kbps 정도 더 높게 설정해 주면 갑작스러운 화면 전환에도 화질 뭉개짐을 방어할 수 있습니다.

③ 오디오(Audio) 비트레이트 설정 영상의 화질만큼 중요한 것이 소리입니다. 설정 좌측의 [오디오] 탭이 아니라, [출력] - [오디오] 탭으로 들어가 트랙 1번의 오디오 비트레이트를 기본 160에서 320으로 올려주세요. 녹음되는 마이크 소리와 PC 시스템 소리가 훨씬 선명하고 풍부하게 저장됩니다.

4. 고급(Advanced) 탭: 색감 보존과 프레임 드랍 방지

모든 해상도와 인코딩 설정을 마쳤다면, 마지막으로 디테일을 다듬어줄 차례입니다. 화질은 선명한데 색감이 물 빠진 것처럼 뿌옇게 보이거나, 시스템 과부하로 영상이 끊기는 현상을 방지하는 세팅입니다. 좌측 메뉴의 [고급] 탭으로 진입합니다.

① 프로세스 우선순위

• 기본값인 '보통'을 높음 또는 보통 초과로 변경해 줍니다.
• 특히 고사양 게임을 플레이하면서 녹화하거나 무거운 프로그램을 돌릴 때, 윈도우 시스템이 OBS에 컴퓨터 자원을 우선적으로 할당하게 만들어 프레임이 뚝뚝 끊기는 현상(프레임 드랍)을 효과적으로 방지해 줍니다.

② 비디오 색상 설정 유튜브 등에서 가끔 녹화된 화면이 원본보다 어둡거나 뿌옇게 뜨는 현상을 본 적 있으실 겁니다. 이는 색 공간과 색상 범위의 충돌 때문입니다.

• 색 공간 (Color Space): 709 또는 sRGB로 설정합니다. 웹과 영상 표준에 가장 적합한 색상 영역입니다. (HDR 녹화가 아니라면 2100 시리즈는 피하세요.)
• 색상 범위 (Color Range): 반드시 제한됨 (Limited)으로 설정합니다.
• 많은 분들이 더 풍부한 색감을 원해서 '전체(Full)'로 설정하는 실수를 범합니다. 하지만 색상 범위를 '전체'로 설정할 경우, 영상을 시청하는 모니터나 프리미어 프로 등의 편집 프로그램 환경에 따라 블랙 레벨이 어긋나 암부가 시꺼멓게 뭉개지거나 화이트가 날아가는 현상이 매우 빈번하게 발생합니다. 웹 표준 동영상 환경에서는 '제한됨'이 가장 정확한 본래의 색감을 보여줍니다.

5. 완벽한 녹화를 위한 최종 점검 및 Q&A

위의 설정들을 모두 마쳤다면 [적용] 버튼을 누르고 [확인]을 눌러 창을 닫습니다. 이제 여러분의 OBS는 방송용 세팅이 아닌, 최고 퀄리티의 영상을 뽑아낼 수 있는 '전문가용 레코더'로 탈바꿈했습니다. 본격적인 녹화에 앞서 흔히 발생하는 문제와 체크리스트를 확인해 보세요.

Q. 설정을 바꿨더니 녹화된 영상이 뚝뚝 끊기며 렉이 걸립니다. A. 설정한 화질을 여러분의 컴퓨터 사양(주로 그래픽카드)이 감당하지 못하는 상태입니다. 이럴 때는 다음 세 가지를 순서대로 낮춰보세요.

1. 프레임을 60 FPS에서 30 FPS로 낮춥니다. (데이터 처리량이 절반으로 줍니다.)
2. CQP 방식을 사용 중이라면 CQ 수준의 숫자를 18에서 22 정도로 올려 화질을 조금 타협합니다.
3. 4K 해상도로 녹화 중이라면 캔버스와 출력 해상도를 1920x1080 (FHD)으로 낮춥니다.

Q. 화질은 완벽한데 파일 용량이 기가바이트(GB) 단위로 너무 커서 부담됩니다. A. CQP(고정 품질) 설정의 특징입니다. 용량이 부담된다면 데이터율 제어를 'VBR'로 변경하고 비트레이트를 15,000 Kbps 정도로 고정하여 사용하시면 화질과 용량의 적절한 균형을 맞출 수 있습니다.

Q. 녹화를 끝냈는데 영상 편집기에서 소리가 안 납니다. A. 오디오 트랙이 여러 개로 분리되어 녹화되었을 가능성이 큽니다. OBS 메인 화면의 '오디오 믹서' 톱니바퀴를 눌러 '오디오 고급 설정'에 들어간 뒤, 데스크탑 오디오와 마이크 오디오가 모두 1번 트랙에 체크되어 있는지 확인하세요.

마무리하며 고화질 영상 제작의 시작은 깨끗한 원본 소스를 확보하는 것에서 출발합니다. 아무리 뛰어난 편집 기술과 화려한 자막을 넣더라도, 원본 영상이 픽셀화되어 깨져있다면 전체적인 퀄리티가 낮아 보일 수밖에 없습니다. 오늘 안내해 드린 해상도 동기화, CQP 인코딩, 색상 범위 제한 설정을 여러분의 OBS에 적용하신다면, 이후 진행되는 영상 편집 과정에서 화면을 두 배 세 배 확대해도 선명함을 유지하는 만족스러운 결과를 얻으실 수 있을 것입니다.

반드시 본격적인 장시간 녹화에 들어가기 전, 1~2분 정도의 짧은 테스트 녹화를 진행하여 파일 용량과 영상의 끊김 여부, 마이크 소리가 잘 녹음되는지 점검하는 습관을 들이시길 바랍니다. 성공적인 고화질 영상 제작을 응원합니다.