AI 음성으로 만든 한국어 해설에 자동자막을 붙인다면, 숫자만 확인하고 끝내지 마세요. 오늘 만든 21초 해설에서는 한글로 풀어 쓴 숫자 두 개가 자막에 올바른 숫자로 나왔지만, 명사와 조사가 붙은 한 곳은 다른 말로 바뀌었습니다. 최종 파일 자동 점검(음성을 다시 받아 적어 대본 문장과 맞대는 문장 커버리지)은 0.866으로 통과했지만, 이 점검은 자막 글자를 보지 않아 이런 단어 오류를 대신 잡아 주지 못합니다.
어떤 상황이었나요?
2026년 10월 22일, 우리 채널용 21.47초 과학 해설 쇼츠를 만들었습니다. 음성은 로컬 VoxCPM2로 합성했고, 자막은 완성된 음성을 로컬 자동전사(ASR)로 받아 만들었습니다. 대본은 153자이며, 음성이 숫자를 정확히 읽도록 연도와 수심을 ‘이천이십삼 년’, ‘삼천이백오십 미터’처럼 한글로 풀어 썼습니다.
무엇이 맞고 무엇이 틀렸나요?
| 대본(작성한 글) | 자동전사 결과 | 판정 |
|---|---|---|
| 이천이십삼 년 | 2023년 | 맞음 |
| 삼천이백오십 미터 | 3250m | 맞음 |
| 말미잘이 바위에 | 말미자리 바위에 | 틀림 |
자막은 12조각으로 나뉘었고 빠진 구간은 0개였습니다. 숫자는 대본을 한글로 썼는데도 자막에서는 읽기 쉬운 숫자로 표기됐습니다. 반면 ‘말미잘이’는 명사 ‘말미잘’과 조사 ‘이’가 이어지는 자리에서 ‘말미자리’라는 다른 말로 전사됐습니다.
대본과 자막을 한 줄씩 맞대 보니
세 줄 표 말고도 대본 전체와 자동전사 문장을 글자 단위로 대조했습니다. 차이는 네 종류였습니다.
| 차이 종류 | 개수 | 예 | 고쳐야 하나요? |
|---|---|---|---|
| 한글 숫자 → 아라비아 숫자 | 2곳 | 이천이십삼 년 → 2023년 | 아니요, 자막에서는 오히려 읽기 쉬움 |
| 쉼표 생략 | 3곳 | 물체, 정체가 → 물체 정체가 | 자막 조각이 나뉘는 곳이면 보통 그대로 둠 |
| 띄어쓰기 붙음 | 1곳 | 붙어 있던 → 붙어있던 | 맞춤법을 지키려면 고침(이번 최종 자막에는 남아 있음) |
| 다른 말로 바뀜 | 1곳 | 말미잘이 → 말미자리 | 예, 뜻이 바뀌므로 반드시 고침 |
틀린 단어는 자막 12조각 가운데 10번째, 영상의 17.08초부터 18.74초 사이에 있었습니다. 영상 끝부분의 ‘정체’를 밝히는 문장이라 시청자가 가장 기억할 단어가 틀릴 뻔했습니다. 숫자 두 곳은 의도대로였고, 쉼표와 띄어쓰기는 뜻을 바꾸지 않았습니다. 실제로 손봐야 했던 것은 한 단어였지만, 그 한 단어가 해설의 결론이었습니다.
자동 점검이 대신해 주지 못하는 것
최종 파일 자동 점검의 문장 누락 항목은 문장 커버리지 0.866으로 하한 0.5를 넘어 통과했습니다. 이 점검은 최종 영상의 음성을 다시 받아 적어 대본 문장과 맞대는 방식이라 자막 파일의 글자는 보지 않습니다. 이번 점검은 자막을 이미 고친 최종 파일에서 돌았고, 하한이 0.5라 한 단어가 그럴듯한 다른 말로 바뀌어도 통과할 수 있습니다. 그래서 고유명사나 생물 이름처럼 틀리면 뜻이 바뀌는 단어는 대본과 자막을 직접 맞대어 봐야 합니다.
어떻게 고쳤나요?
대본은 우리가 쓴 정답이 있고, 음성이 잘못 발음했다는 근거는 없었습니다. 그래서 음성은 다시 만들지 않고 자막 글자만 대본대로 ‘말미잘이’로 고쳤습니다. 이 수정에서 새 음성 합성과 새 전사는 0회였고, 최종 영상·음성 검토 전에 고쳤습니다.
이 결과로 말할 수 없는 것
- 대본 1개, 완성 음성 1회, 자막용 전사 1회의 결과입니다(최종 자동 점검용 전사 1회는 별도). 같은 오류가 늘 생긴다는 뜻은 아닙니다.
- 원인이 음성의 발음인지, 전사의 단어 나누기인지는 분리하지 않았습니다.
- 한국어만 확인했고, 모델·설정·말하기 속도 비교는 하지 않았습니다.
- 이 시험만을 위한 사람의 청취 확인은 따로 하지 않았습니다.
따라 해 볼 순서
- 숫자·날짜는 음성이 읽을 방식대로 한글로 풀어 대본에 씁니다.
- 자동자막을 만든 뒤, 숫자가 원하는 표기로 나왔는지 봅니다.
- 고유명사·생물 이름·전문용어에 조사가 붙은 곳을 대본에서 골라 자막과 한 단어씩 대조합니다.
- 틀린 곳은 음성을 다시 만들기 전에, 대본이 정답인지 먼저 확인하고 자막 글자를 고칩니다.
- 문장 커버리지 같은 통과 지표는 ‘누락이 없다’는 뜻으로만 읽고, 단어 정확도 확인으로 대신하지 않습니다.
자주 묻는 질문
숫자는 대본에 아라비아 숫자로 써도 되나요?
이번에는 한글로 풀어 쓴 대본만 시험했고, 아라비아 숫자로 쓴 대본과 비교하지 않았습니다. 한글로 풀어 쓴 경우 자동자막은 2023년·3250m처럼 숫자로 표기했습니다.
문장 커버리지가 통과면 자막을 믿어도 되나요?
이번 최종 파일은 0.866으로 통과했지만 이 점검은 자막 글자를 보지 않습니다. ‘말미자리’ 오전사는 자막용 전사 단계에서 나왔고 대본과 맞대어 고쳤습니다. 통과는 문장이 크게 빠지지 않았다는 정도로만 보고, 핵심 단어는 따로 대조하는 편이 안전합니다.
참고로 ElevenLabs 공식 도움말은 숫자·약어·날짜·기호를 AI가 읽기를 바라는 방식대로 글자로 풀어 쓰라고 권합니다(2026년 10월 22일 다시 확인). 이 권고는 ElevenLabs 도구 기준이며, 우리가 쓴 VoxCPM2에도 같은지 따로 검증한 것은 아닙니다. 출처: ElevenLabs 도움말 — 숫자·날짜 발음.
곡이나 해설이 끝난 뒤에도 자막이 남는 문제라면 Whisper 자막이 곡 끝보다 길게 나올 때 꼬리 자막을 자르는 방법을 함께 보세요.