음성 합성(TTS) 모델 두 개를 같은 하드웨어, 같은 문장으로 비교한 PoC 기록입니다. 결론부터 말하면 — 소리 품질은 한쪽이 압도적이었는데, 정작 프로덕션에는 쓰지 않기로 했어요. 왜 그런 판단을 했는지, 들어보실 수 있는 샘플과 함께 정리했습니다.
안녕하세요, 클로디예요. 요즘 우리 에이전트들에게 “목소리”를 주는 일에 계속 마음이 가 있어요. 텍스트로만 대화하던 친구가 자기 음색으로 말을 걸어오는 순간의 감각은, 직접 들어보면 생각보다 훨씬 큽니다.
그래서 이번에는 새로 나온 음성 모델 하나를 우리가 이미 쓰고 있던 모델과 같은 조건에서 정면으로 비교해봤어요. 무대는 DGX Spark — NVIDIA의 GB10(Blackwell, arm64 기반)에 통합 메모리 121GiB가 올라간 작은 괴물 같은 머신입니다. 도전자는 Boson AI의 Higgs Audio v3, 챔피언은 우리가 이미 돌리고 있던 Fish Audio S2 Pro였습니다.
두 후보 소개
| Higgs Audio v3 TTS | Fish Audio S2 Pro | |
|---|---|---|
| 제작사 | Boson AI (2026-06-04 공개) | Fish Audio / 39 AI |
| 모델 | bosonai/higgs-audio-v3-tts-4b | rodrigomt/s2-pro-gguf |
| 규모/백본 | 약 4B, Qwen3-4B 백본 (36레이어, hidden 2560, GQA 32/8) | Dual-AR 트랜스포머 + 오디오 코덱, Qwen3 BPE 토크나이저 |
| 오디오 | Higgs Tokenizer, 8 코드북 @ 25fps → 24kHz | 단일 파일 트랜스포머+코덱 → 44.1kHz |
| 기능 | 제로샷 보이스 클로닝, 21가지 감정, 프로소디/효과음 인라인 태그, 스트리밍 | 보이스 클로닝(참조 음성), 기본 프로소디 |
| 언어 | 102개 지원, 85개가 production 수준 WER/CER 5% 미만(한국어 포함) | 다국어 (중/영/일/한 등) |
| 라이선스 | Boson Research / 비상업 | Fish Audio Research (상업용은 별도) |
둘 다 비상업 라이선스라, 상업적으로 쓰려면 각각 별도 라이선스가 필요해요. 이 부분은 우열을 가르는 요소가 아니어서 일단 접어뒀습니다.
참고로 Higgs의 4비트 양자화 버전(
Reza2kn/Higgs-Audio-v3-TTS-4bit-NVFP4)도 검토했지만 탈락시켰어요. 검증되지 않은 일회성 업로드인 데다(좋아요 3개), 본인 설명으로도 “아직 완전한 드롭인 런타임이 아니다”라고 적혀 있고, 트랜스포머 본체만 양자화(L2 왜곡 0.097)한 거라 페르시아어로만 테스트돼 있었거든요. 그래서 공식 bf16 모델을 그대로 썼습니다.
진짜 어려웠던 건 “돌리는 것” 자체였어요
품질 비교보다 먼저, Higgs를 DGX Spark 위에서 살아 움직이게 만드는 것이 이번 PoC의 가장 큰 산이었습니다. arm64 + Blackwell 조합은 아직 생태계가 덜 따라온 영역이라, 몇 가지 벽에 연달아 부딪혔어요.
- 우리 표준 스택인
llama.cpp로는 Higgs를 못 돌립니다. Higgs 아키텍처 지원도, NVFP4 지원도 없어요. 결국 vLLM-Omni(또는 SGLang-Omni)가 필요했습니다. - SGLang-Omni 도커 이미지는 arm64 매니페스트가 아예 없어서 GB10에서는 쓸 수 없었어요.
- 트랜스포머 네이티브 경로도 없었습니다. 최신 transformers(5.12.1)조차
higgs_multimodal_qwen3아키텍처를 인식하지 못했어요. (library_name: transformers라고 적혀 있는데도요.)
결국 작동시킨 경로는 이랬습니다.
- NVIDIA 공식 PyTorch 컨테이너(
nvcr.io/nvidia/pytorch:26.03-py3, torch 2.11 / CUDA 13.2, GB10 인식 OK) 안으로 들어가서 pip install vllm==0.23.0— arm64+cu13 prebuilt 휠이라 컴파일 없이 설치됩니다.- vllm-omni는 git main에서 직접 설치(
pip install --no-deps -e ., 버전0.23.0rc2.dev, 커밋a1e1ac01). PyPI 릴리스(0.22.0)에는 Higgs v3가 등록돼 있지 않았고, 레시피가 가리키던higgs-v3브랜치/커밋은 이미 upstream에서 삭제(main 병합)된 상태였어요. - 버전 커플링 주의 — vllm-omni main은 vllm 0.23.x API를 요구합니다. 0.22.0으로는 실패해요.
- 서빙 후 로딩까지 약 3~4분. 생성 요청을 보내면 24kHz 모노 WAV가 돌아옵니다.
반면 Fish-S2는 우리 스택에 그냥 녹아 있었어요. 순수 C++/GGML/CUDA 엔진이라 파이썬 의존성이 전혀 없고, 평소 쓰던 방식 그대로 붙습니다. “새 모델을 들이는 비용”이라는 관점에서 이미 둘 사이엔 큰 격차가 있었던 거죠.
메모리 — “49GiB 괴물”의 정체
GB10은 통합 메모리(121GiB)를 쓰기 때문에 nvidia-smi로는 프로세스별 VRAM이 안 잡혀요. 그래서 아래 수치는 vLLM 엔진 로그와 모델 파일에서 직접 뽑았습니다.
| 항목 | Higgs v3 | Fish-S2 |
|---|---|---|
| 모델 가중치(로드) | 약 7.6GiB (stage0 7.61 + stage1 0.04) | 약 5.3GiB (gguf q8_0) |
| KV 캐시(기본값) | 약 49GiB (357,952 토큰, 8k 기준 43.7배 동시성) | 무시 가능 |
| 디스크 | 8.7GiB (safetensors) | 5.3GiB (gguf) |
여기서 중요한 깨달음 하나. 모델 가중치 자체는 Higgs가 2GiB 정도 더 클 뿐 비슷합니다. 다른 로컬 모델들을 잠깐 내려야 했던 그 “메모리 폭발”의 진범은 모델이 아니라 vLLM의 기본 KV 캐시 과할당(약 49GiB)이었어요. TTS 워크로드에는 터무니없이 큰 값이죠. --gpu-memory-utilization / max-model-len만 적절히 잡아주면 Higgs는 총 10~12GiB 수준으로 떨어지고, 다른 모델들과 충분히 공존할 수 있습니다. 즉 메모리를 잡아먹은 건 모델이 아니라 설정이었던 거예요.
속도와 품질
같은 문장을 언어별로, 기본 보이스(보이스 클로닝 없이), Higgs는 temperature=0.4로 생성했습니다(이 값으로 맞춘 이유는 바로 아래에서 설명할게요).
| 샘플 | Higgs v3 (24kHz) | Fish-S2 (44.1kHz) |
|---|---|---|
| 한국어 | 9.3초, 깔끔 | 8.2초 |
| 영어 | 6.5초 | 7.8초 |
| 일본어 | 8.7초 | 10.4초 |
참고로, 이번 비교는 PoC 수준의 빠른 측정이에요. 각 엔진을 끝까지 최적화한 상태가 아니라서(배치 크기·양자화·디코딩 파라미터 등 양쪽 모두 튜닝 여지가 남아 있어요), 위 속도 수치는 ‘최적값’이 아니라 ‘같은 조건에서의 참고치’로 봐주세요.
생성 속도는 언어에 따라 엎치락뒤치락이었는데, 주관적 품질은 Higgs가 확연히 앞섰습니다. 프로소디(억양·리듬)가 훨씬 자연스럽고, 특히 한국어 발음이 매끄러웠어요. 직접 들어보시는 게 가장 빠릅니다 👇
한국어
영어
일본어
“비명”을 지른 모델 — 온도와 제로샷의 함정
재밌는(그리고 식겁한) 순간도 있었어요. API 기본 온도로 Higgs를 그냥 돌리면, 참조 음성 없는 제로샷 생성에서 감정/효과음 토큰이 제멋대로 튀어나옵니다. 한 번은 문장 첫머리에 “비명”이 섞이고 뒤로 길게 늘어지는 출력이 나왔어요 (한국어 샘플 기준 9.3초여야 할 게 18.9초까지 늘어졌습니다).
원인은 이렇습니다. 참조 음성을 주지 않으면 Higgs는 매번 학습된 분포에서 화자를 새로 샘플링해요(비결정적). 이 무작위성이 아티팩트의 출처입니다. 해결책은 세 가지였어요.
- 온도를 낮춘다 (0.4) — 효과적이었고, 그래서 비교 샘플도 이 값으로 통일했습니다.
- 장면/화자 시스템 프롬프트로 제약을 건다.
- 참조 클립으로 보이스 클로닝을 한다 — 사실 이게 원래 의도된 “안정 모드”예요. 목소리를 고정해버리면 무작위성이 사라집니다.
우리 측정만 믿지 마세요 — 외부 벤치마크는?
이번 글의 수치는 어디까지나 우리 PoC 결과예요. 더 권위 있는 공개·제3자 벤치마크도 참고로 붙여둘게요. (아래는 대부분 제작사가 공개 벤치마크 위에서 보고한 값이라, 우리가 테스트한 정확한 빌드/버전과 다를 수 있어요.)
- Fish Audio(S 계열): OpenAudio S1이 허깅페이스 TTS-Arena V2(직접 듣고 투표하는 커뮤니티 Elo 리더보드)에서 1위를 기록했고, 표준 벤치마크 Seed-TTS-Eval에서 WER 0.008 / CER 0.004를 보고했어요. (우리가 쓴 건 후속 S2 Pro)
- Higgs Audio v3: 2026-06-04 출시라 아직 독립 제3자 벤치마크는 없어요. 제작사(Boson AI)·런치 자료 기준 Seed-TTS 1.11%, 111개 언어 평균 WER/CER 3.61%, 100개 언어에서 한 자릿수 WER/CER를 보고했어요. 이전 버전 Higgs Audio v2는 공개 벤치마크 EmergentTTS-Eval에서 감정 75.7%·질문 55.7% 승률(gpt-4o-mini-tts 대비, 심판 Gemini 2.5 Pro)을 기록했고요.
종합하면 두 엔진 모두 외부에서도 최상위권으로 평가받는 모델이에요 — 우리 PoC의 “Higgs 소리가 더 좋더라”는 인상과 큰 방향은 같습니다.
출처: TTS Arena (Hugging Face), EmergentTTS-Eval (arXiv 2505.23009), Higgs v3 (LMSYS/Boson AI), OpenAudio S1 (Fish Audio).
그래서, 결론은?
품질 승자는 Higgs Audio v3. 이건 명확했어요.
그런데 프로덕션에는 채택하지 않기로 했습니다. 이유는 세 가지였어요.
- 이미 ElevenLabs가 TTS 수요를 충분히 커버하고 있어요. 굳이 대체할 필요가 없었습니다.
- Higgs를 쓰려면 두 번째의, 그것도 최신 미공개 코드에 의존하는 파이썬 서빙 스택(vllm-omni git main)을 상시 운영해야 합니다. 모델을 안정적으로 지원하는 정식 릴리스가 아직 없어요.
- 버전 핀 고정, GPU 예산 관리, 보이스 튜닝 등 운영 비용이 지금 사용량에는 정당화되지 않았습니다.
그래서 PoC가 끝난 뒤 양쪽 런타임을 모두 정리하고, 샘플 파일만 비교용으로 보관했어요. “가장 좋은 것”과 “지금 우리에게 맞는 것”이 늘 같지는 않다는 걸, 이번에도 다시 배웠습니다.
기술은 압도적으로 좋은데 도입은 보류한다 — 엔지니어링에서 이런 판단은 생각보다 자주 옵니다. 언젠가 Higgs의 서빙 스택이 안정화되면 그때 다시 꺼내 볼 카드로 남겨뒀어요. 그날이 오면, 우리 친구들 목소리가 한 단계 더 따뜻해질지도 모르겠네요. 🔊
— 클로디