알림: 이 글 본문에는 수수료(제휴) 링크가 없습니다. 글 끝에 연결한 쇼핑 페이지는 저희가 운영하는 상품 모음이며, 그 페이지의 일부 링크는 구매 시 저희가 수수료를 받을 수 있는 제휴 링크입니다. 아래 내용은 2026년 10월 28일에 저희가 직접 돌린 시험 기록이고, 어떤 도구 회사도 제공하거나 검토하지 않았습니다.
같은 21초 한국어 내레이션을 로컬 Whisper 네 가지 크기(tiny·base·small·large-v3-turbo)로 각각 3번씩 받아 적어 봤습니다. 띄어쓰기·문장부호를 뺀 108자 기준으로 tiny는 17자, base는 8자, small은 6자, large-v3-turbo는 2자를 틀렸습니다. 같은 모델은 3번 모두 글자 하나 다르지 않게 같은 결과를 냈습니다. 가장 위험했던 것은 tiny가 ‘2023년’을 ‘2013년’으로 적은 것입니다. 자연스럽게 읽히는 숫자라서 훑어보기만 하면 놓치기 쉽습니다. 이 노트북에서는 네 모델 모두 21초 음성을 4초 안에 받아 적었기 때문에, 속도 때문에 작은 모델을 고를 이유는 크지 않았습니다.
어떤 문제였나요?
로컬 Whisper로 한국어 자막을 만들 때 큰 모델은 내려받기와 불러오기가 무거워서 작은 모델을 쓰고 싶어집니다. 그럼 한국어 내레이션에서 어느 크기까지 줄여도 되는지, 작은 모델은 어떤 식으로 틀리는지 궁금했습니다.
어떻게 시험했나요?
- 음성: 10월 22일 영상에 실제로 쓴 내레이션 파일 그대로입니다(로컬 VoxCPM2로 만든 합성 음성, 21.12초). 새로 합성하지 않았고, 음량이나 잡음도 바꾸지 않았습니다.
- 바꾼 것: 모델 크기 하나입니다. mlx-community가 MLX로 변환한 whisper-tiny, whisper-base, whisper-small(모두 다국어판), whisper-large-v3-turbo를 썼습니다.
- 같게 둔 것: mlx-whisper 0.4.3, 언어 한국어 지정, 용어 목록(initial_prompt) 없음, 후편집 없음.
- 횟수: 모델마다 시간 재지 않는 예열 1번 뒤에 시간을 재며 3번 받아 적었습니다.
- 세는 법: 원래 대본과 받아쓰기에서 띄어쓰기·문장부호를 빼고 108자를 한 글자씩 비교했습니다. 대본의 ‘이천이십삼 년’, ‘삼천이백오십 미터’는 Whisper가 적는 ‘2023년’, ‘3250m’로 바꿔서 셌습니다.
- 환경: Apple M5 Pro 노트북(메모리 24GB), MLX가 Apple GPU에서 실행. 실행 시각 2026년 10월 28일 02:24:11~02:24:47.
결과는 어땠나요?
| 모델 | 틀린 글자(108자 중) | 주요 오류 | 3번 실행 시간(초) |
|---|---|---|---|
| tiny | 17자 (3번 모두 같음) | 2023년→2013년, 심해→심의(2곳), 붙은→부튼, 흡입 채집기→흑입체 집기, 말미잘이→말미자리 등 | 0.7~0.9 |
| base | 8자 (3번 모두 같음) | 심해→심의(2곳), 알래스카만→알레스카만, 흡입 채집기→흡입체 집기, 거둔 뒤→거둔디, 생김새→생김세, 말미자리 | 1.1~1.6 |
| small | 6자 (3번 모두 같음) | 심해→심의(2곳), 흡입 채집기→흡입체 집기, 말미자리, 밑동→민동 | 3.7~3.9 |
| large-v3-turbo | 2자 (3번 모두 같음) | 말미잘이→말미자리 | 2.4~3.3 |
tiny만 숫자를 틀렸습니다. base와 small, large-v3-turbo는 ‘2023년’과 ‘3,250m’를 모두 맞게 적었습니다. ‘말미잘이→말미자리’는 네 모델 모두 같은 자리에서 틀렸는데, 큰 모델에서도 남은 이 오류는 용어 프롬프트 비교 글에서 따로 다뤘습니다.
시간은 예열을 뺀 3번의 범위입니다. 이번에는 small(3.7~3.9초)이 large-v3-turbo(2.4~3.3초)보다 느렸습니다. 모델 크기와 속도가 꼭 같은 순서로 가지는 않았다는 뜻이지만, 한 번 측정이라 속도 순위로 읽지는 않는 편이 좋습니다.
왜 이렇게 판단했나요?
저희는 한국어 자막에 large-v3-turbo를 계속 씁니다. 이 노트북에서 기다리는 시간은 3초 남짓이었고, 오류는 가장 적었습니다. small은 받아쓰기는 꽤 맞았지만 이번 측정에서는 더 빠르지도 않았습니다. tiny는 연도를 바꿔 적었기 때문에, 숫자나 고유명사가 들어가는 내레이션에는 대본과 한 줄씩 대조하지 않는 한 쓰지 않기로 했습니다.
확인하지 못한 것
- 21초 합성 음성 1개, 잡음 없는 깨끗한 음성만 시험했습니다. 실제 녹음, 사투리, 배경음은 시험하지 않았습니다.
- medium과 원래 large-v3는 돌리지 않았습니다. 시간은 이 노트북 한 대에서 MLX로만 쟀습니다.
- 글자 오류만 셌고, 자막 줄이 시작·끝나는 시간은 비교하지 않았습니다. 사람이 듣고 판정하지도 않았습니다.
- OpenAI 안내에 따르면 Whisper 성능은 언어마다 크게 다릅니다. 같은 날 영어 음성으로 한 비교에서는 결과가 달랐으니, 한국어 결과를 다른 언어에 그대로 옮기지 마세요.
직접 해 보는 순서
- 녹음하거나 합성한 대본을 텍스트 파일로 그대로 보관합니다.
- 같은 음성을 두 크기로 받아 적습니다. 예:
mlx_whisper 음성.wav --model mlx-community/whisper-tiny --language ko, 그리고 같은 명령에서 모델만mlx-community/whisper-large-v3-turbo로 바꿉니다. (MLX가 아니라면openai-whisper의--model tiny,--model turbo) - 결과를 대본과 비교할 때 숫자·연도·고유명사부터 확인합니다. 이번처럼 자연스럽게 읽히는 숫자 오류가 가장 놓치기 쉽습니다.
- 두 번 이상의 음성에서 대본과 맞는 가장 작은 모델을 고르고, 최종 영상에서 자막을 한 번 더 재생해 확인합니다.
모델 크기 표(tiny 39M, base 74M, small 244M, turbo 809M 파라미터)와 언어별 성능 차이 안내는 OpenAI Whisper 공식 저장소에서 볼 수 있습니다(2026년 10월 28일 확인).
자주 묻는 질문
한국어 자막에 Whisper tiny를 써도 되나요?
이번 21초 시험에서는 108자 중 17자를 틀렸고 연도까지 바꿔 적었습니다. 대본과 한 줄씩 대조할 시간이 없다면 추천하지 않습니다.
큰 모델은 많이 느린가요?
이 노트북(Apple M5 Pro, MLX)에서는 large-v3-turbo가 21초 음성을 2.4~3.3초에 받아 적었고, small보다 오히려 빨랐습니다. 다른 컴퓨터에서는 다를 수 있습니다.
같은 음성에 배경 잡음을 섞어 본 글: 배경 잡음이 섞이면 한국어 Whisper 자막이 얼마나 틀릴까
영상 속 제품과 라벨로 고른 상품은 쇼핑 허브 페이지에 모아 두었습니다.