LiquidCodec (~74M 온디바이스 스트리밍 오디오 코덱) 아키텍처 해부: 24kHz·12.5Hz·12 GFSQ 양자화, LFM3-Audio-2B 보코더 경계 및 LFM 라이선스($10M) 점검하기
Liquid AI가 공개한 ~74M 온디바이스 스트리밍 오디오 코덱 LiquidCodec(24kHz·12.5Hz·12 GFSQ)의 대칭형 STFT/iSTFT 아키텍처와 LFM3-Audio-2B 내 토크나이저·보코더 경계를 정리한다. RVQ 대비 GFSQ의 병렬 예측 이점, 단일 CPU 스레드 361배속 인코딩·87배속 디코딩 지표 및 LFM Open License v1.0($10M 매출 제한) 주의사항을 살펴본다.
LiquidCodec (~74M) 대칭형 STFT·12-GFSQ·iSTFT 파이프라인 및 LFM3-Audio-2B·라이선스 아키텍처 다이어그램 (개념 일러스트 SVG)
2026년 11월 12~13일 Liquid AI는 온디바이스 멀티모달 모델인 LFM3-Audio-2B와 LFM3-Omni-2B의 음성 생성을 뒷받침하는 약 7,400만 파라미터(~74M) 규모의 자체 스트리밍 신경망 오디오 코덱 **LiquidCodec**의 상세 아키텍처와 벤치마크를 공개했다. LiquidCodec은 24 kHz 음성 파형을 12.5 Hz 프레임 레이트(80 ms당 1프레임)와 12개 그룹의 GFSQ(Grouped Finite Scalar Quantization) 토큰으로 이산화하고, 다시 스펙트럼 계수(iSTFT)를 직접 예측해 파형으로 복원함으로써 Apple M4 Max 단일 CPU 스레드(FP32) 기준 **인코딩 약 361배속(RTF 0.0028), 디코딩 약 87배속(RTF 0.0115)**의 처리 속도를 달성했다.
핵심 기술적 위치와 도입 기준을 먼저 요약하면, LiquidCodec은 텍스트를 입력받아 음성을 생성하는 독립적인 End-to-End TTS·STT 모델이 아니라, 언어 모델이 예측하기 쉬운 이산 오디오 토큰으로 변환하고 복원하는 '오디오 토크나이저·디토크나이저(보코더) 계층'이다. 심지어 LFM3-Audio-2B 내부에서도 16 kHz 입력 음성을 처리하는 인과적 오디오 인코더(Causal Audio Encoder)와 24 kHz 출력 음성을 합성하는 LiquidCodec(processor.audio_tokenizer)은 역할과 샘플링 레이트가 분리되어 있다. 또한 가중치와 코덱 코드가 포함된 체크포인트는 Apache 2.0이 아니라 연 매출 1,000만 달러($10M USD, 지배·종속 관계 법인 합산) 이상 기업의 상업적 사용 시 별도 유상 계약이 필요한 LFM Open License v1.0을 따르므로 사내 도입 전 법인 매출 기준을 반드시 먼저 확인해야 한다. 이 글은 LiquidCodec 공식 엔지니어링 블로그, LFM3 출시 발표, LFM3-Audio-2B Hugging Face 모델 카드, LFM Open License v1.0 전문을 교차 검증해 정리한 글이며, 자체 한국어 음성 데이터셋에 대한 주관적 MOS 청취 평가를 직접 수행한 결과가 아니라 공식 공개 수치(FLEURS 한국어 등 8개 벤치마크)와 로컬 Python 아키텍처·라이선스 불변식 검증 스크립트(6개 항목)를 기준으로 설명한다.
1. 기술적 위치와 혼동하기 쉬운 4가지 경계: 토크나이저/보코더 vs TTS 백본, 16kHz 입력 vs 24kHz 출력, GFSQ vs RVQ, 라이선스
음성 합성(TTS)이나 음성 대화 파이프라인을 검토할 때 LiquidCodec의 역할과 라이선스 경계를 다음 네 가지로 명확히 구분해야 한다:
- LiquidCodec(오디오 코덱/보코더 계층)과 LFM3-Audio-2B(멀티모달 언어 모델 백본)는 별개다: LiquidCodec(~74M) 자체는 텍스트 프롬프트나 대화 맥락을 이해하지 못한다. 파형을 80 ms 단위(12.5 Hz)의 이산 토큰 12개로 바꾸는 **토크나이저(Tokenizer)**와, 언어 모델이 예측한 토큰을 다시 24 kHz 파형으로 바꾸는 **디토크나이저(Detokenizer/Vocoder)**로만 동작한다. 실제 텍스트→음성(TTS) 생성은
LFM3-1.7B(또는 실험에 사용된Qwen3-1.7B) 백본과 6계층(1,024차원) 깊이 디코더가 LiquidCodec의 토큰 시퀀스를 예측한 뒤, 마지막 단계에서codec.decode()를 호출해 완성된다 (LiquidCodec Architecture).
LFM3-Audio-2B의 입력 오디오 인코더(16 kHz)와 출력 LiquidCodec(24 kHz)은 별개다:LFM3-Audio-2B에서 음성 인식(ASR·LiveASR)과 오디오 이해를 담당하는 입력 경로는16 kHz오디오를 받아 슬라이딩 윈도우 어텐션(SWA)과 짧은 합성곱(ShortConv) 기반의 **인과적 오디오 인코더(Causal Audio Encoder)**로 연속 특징을 추출해 프리필(Prefill)한다. 반면24 kHz음성을 생성하는 출력 경로(및 학습 타깃 토큰화)가 바로audio_tokenizer/디렉터리에 내장된 LiquidCodec이다 (LFM3-Audio-2B Model Details).
- RVQ(잔차 벡터 양자화)의 순차 종속성과 GFSQ(그룹 유한 스칼라 양자화)의 그룹 독립성은 별개다: 이전 세대인
LFM2-Audio-1.5B와LFM2.5-Audio-1.5B의 토크나이저로 쓰인 서드파티 코덱 Mimi는 RVQ(Residual Vector Quantization)를 사용해 번째 코드북이 번째 코드북의 잔차 오차를 양자화하므로 코드북 간 강한 순차 종속성이 발생한다. 반면 LiquidCodec은 256차원 잠재 벡터 를 **12개의 독립 그룹으로 나누어 스칼라 격자에 반올림하는 GFSQ(Grouped FSQ)**를 채택해 코드북 간 순차 잔차 의존성을 제거하고 MaskGIT 방식의 반복적 병렬 토큰 예측을 가능하게 했다 (Why we built our own audio codec).
- 오픈 웨이트(Open-Weight) 공개와 무제한 상업용 오픈소스(Apache 2.0)는 별개다:
LFM3-Audio-2B와 내장LiquidCodec은 Hugging Face에 가중치가 공개되어 있으나 Apache 2.0이 아닌 **LFM Open License v1.0**이 적용된다. 제5조(Commercial Use Limitation)에 따라 **연 매출 1,000만 달러($10,000,000 USD) 이상인 법인(모회사·자회사·공동 지배 계열사 합산Legal Entity기준)**이 상업적 용도로 사용할 경우 무료 라이선스 범위에서 제외되며 Liquid AI와의 별도 상업 라이선스 계약이 필요하다 (LFM Open License User Guide).
| 구분 축 | LiquidCodec (~74M) 단독 | LFM3-Audio-2B (2B 전체 모델) | 실무 아키텍처 및 법무 점검 포인트 |
| 핵심 역할 (Layer) | 오디오 토크나이저 + 디토크나이저(보코더) (파형 ↔ 12.5 Hz 이산 토큰 변환) | Any-to-Any 멀티모달 파운데이션 모델 (ASR, TTS, 음성 대화, 오디오 이해, 함수 호출) | LiquidCodec만으로는 텍스트 입력 TTS 불가 (언어 모델 백본 결합 필수) |
| 입출력 샘플링 레이트 | 입력 24 kHz 파형 → 12.5 Hz 토큰(12 그룹) → 출력 24 kHz 파형 | 오디오 입력 인코더: 16 kHz음성 합성 출력(LiquidCodec): 24 kHz | 마이크 입력 스트리밍(LiveASR)은 16 kHz(100 ms당 1,600샘플), 합성 출력 저장은 24 kHz로 분리 |
| 추론 포맷 및 프레임워크 | processor.audio_tokenizer (Transformers), 디코더 QAT Q4_0 지원(메모리 3.5배 절감) | BF16(vLLM, SGLang, Transformers), GGUF( llama.cpp Q4_0/Q4_K_M/Q8_0), MLX, ONNX | 온디바이스 배포 시 디코더 Q4_0 양자화로 품질 저하 없이 메모리 대폭 절감 가능 |
| 적용 라이선스 | LFM Open License v1.0 ( LFM3-Audio-2B 저장소 내 audio_tokenizer/ 포함) | LFM Open License v1.0 (32K 컨텍스트, 18개 언어 지원) | 지배구조 합산 연 매출 $10M USD 이상 기업은 상업적 활용 전 유상 라이선스 계약 필수 |
2. 대칭형 STFT · LFM3 8블록 · 12그룹 GFSQ · iSTFT 파이프라인 해부
LiquidCodec이 단일 CPU 스레드에서 실시간 대비 361배속 인코딩과 87배속 디코딩을 달성한 비결은 시간 영역(Time-domain)의 무거운 전치 합성곱(Transposed Convolution) 업샘플링을 배제하고, STFT/iSTFT 스펙트럼 직접 예측과 완전 대칭형(Symmetric) 인코더·디코더 구조를 결합한 데 있다 (LiquidCodec Architecture):
- STFT 전처리 및 75 Hz → 12.5 Hz 다운샘플링:
24 kHz입력 파형에 단시간 푸리에 변환(STFT)을 적용해75 Hz프레임 레이트의 스펙트럼 특징(1923채널)을 추출한다.- 3단계 합성곱 계층(
Conv 1923 → 256, SiLU→Conv 256 → 256, SiLU→Conv 256 → 512)을 거치며 프레임 레이트를 6분의 1인 **12.5 Hz(80 ms당 1프레임)**로 압축한다.
- 인과적(Causal) 대칭형 8블록 LFM3 인코더·디코더:
- 인코더와 디코더 모두 동일하게 8개의 LFM3 블록 시퀀스인
[1: ShortConv, 2: ShortConv, 3: Attention, 4: ShortConv, 5: Attention, 6: ShortConv, 7: Attention, 8: ShortConv](ShortConv 5개 + Attention 3개)를 사용한다. - 모든 블록이 과거 프레임만 참조하는 완전 인과적(Fully Causal) 구조이므로 실시간 마이크 입력 및 스트리밍 오디오 생성 시 미래 프레임을 기다리는 지연이 없다.
- 12그룹 GFSQ 양자화(
Linear 512 → 256→FSQ 12 groups): - 인코더 출력에
RMSNorm과Linear 512 → 256을 적용해 잠재 벡터 를 얻고, 이를 12개 그룹의 GFSQ로 독립 양자화해 80 ms 프레임당 12개의 이산 토큰(초당12.5 × 12 = 150토큰)을 생성한다.
- Repeat × 6 확장 및 iSTFT 직접 복원:
- 양자화된 를
Linear 256 → 512로 투영한 뒤Repeat × 6연산으로 프레임 레이트를 다시12.5 Hz → 75 Hz로 복원한다. - 8개 대칭 디코더 블록과
RMSNorm,Linear 512 → 1282를 거쳐 복소 스펙트럼 계수 를 직접 예측하고 역 단시간 푸리에 변환(iSTFT)으로24 kHz파형을 즉시 합성한다.
- 2단계 다국어 학습(금속성 아티팩트 제거) 및 디코더 QAT:
- 1단계(107개 언어, 264,000시간): 노이즈가 섞인 대규모 음성 데이터에서 적대적(GAN) 손실 없이 파형·스펙트럼 재구성 손실만으로 사전 학습해 강건한 표현을 먼저 학습한다.
- 2단계(24 kHz 이상 고음질 클린 음성 55,000시간): 1단계의 평균화 현상으로 인한 '금속성(Metallic)' 아티팩트를 제거하기 위해 파형·스펙트럼·음성 특징 판별자(Adversarial Critics)를 도입해 미세 조정하고, 이어서 엣지 추론을 위한 **디코더 전용 양자화 인식 학습(QAT)**을 수행해
Q4_0에서 디코더 크기를 3.5배 줄였다.
3. 코덱 속도·품질 및 한국어(FLEURS Korean) 벤치마크 비교
Apple M4 Max(FP32, 단일 CPU 스레드)에서 측정한 인코딩·디코딩 RTF(Real-Time Factor, 낮을수록 빠름)와 LibriSpeech(영어) 및 FLEURS(한국어) 기준 재구성·제로샷 TTS 성능 비교는 아래와 같다 (LiquidCodec Results).
| 오디오 코덱 | 코드북 수 | 인코딩 RTF ↓ (실시간 배속 ↑) | 디코딩 RTF ↓ (실시간 배속 ↑) | 한국어(FLEURS Korean) 재구성 및 TTS 핵심 지표 |
| LiquidCodec (BF16) | 12 (GFSQ) | 0.0028 ± 0.0001(약 361× 실시간) | 0.0115 ± 0.0001(약 87× 실시간) | SQMOS 4.217 · PESQ 2.637 · Mel Dist 0.117ViSQOL 4.176 · 재구성 CER 4.45% · TTS UTMOSv2 2.97 |
| LiquidCodec (Q4_0 QAT) | 12 (GFSQ) | 동일 토크나이저 사용 | 디코더 용량 3.5배 축소 | SQMOS 4.214 · PESQ 2.599 · Mel Dist 0.118ViSQOL 4.146 · 재구성 CER 4.30% · TTS UTMOSv2 2.88 |
| X-Codec 2 | 1 | 0.7359 ± 0.0103(약 1.36× 실시간) | 0.0379 ± 0.0009(약 26.4× 실시간) | SQMOS 4.214 · PESQ 2.299 · Mel Dist 0.128ViSQOL 3.870 · 재구성 CER 5.08% · TTS UTMOSv2 2.87 |
| NanoCodec | 13 | 0.2145 ± 0.0057(약 4.66× 실시간) | 0.2543 ± 0.0061(약 3.93× 실시간) | SQMOS 4.212 · PESQ 2.589 · Mel Dist 0.137ViSQOL 4.018 · 재구성 CER 3.41% · TTS UTMOSv2 2.86 |
| Mimi (12 codebooks) | 12 (RVQ) | 0.0361 ± 0.0004(약 27.7× 실시간) | 0.0329 ± 0.0005(약 30.4× 실시간) | SQMOS 3.843 · PESQ 2.165 · Mel Dist 0.178ViSQOL 3.530 · 재구성 CER 9.37% · TTS UTMOSv2 2.54 |
4. 실무 연동 코드와 로컬 Python 6대 불변식 검증
4.1 Hugging Face Transformers 기반 LFM3-Audio-2B + LiquidCodec 한국어 TTS 추출 예제
LFM3-Audio-2B 저장소의 AutoProcessor는 audio_tokenizer/ 경로에서 LiquidCodec 가중치를 로드해 processor.audio_tokenizer로 노출한다. 모델이 생성한 outputs.audio_codes 텐서를 실제 길이(outputs.audio_lengths[0])만큼 슬라이싱해 codec.decode()에 전달하면 24 kHz 파형을 얻을 수 있다 (LFM3-Audio-2B Transformers quick start).
4.2 로컬 Python 아키텍처·GFSQ·라이선스 6대 검증 스크립트
아래 스크립트는 공식 문서의 6가지 수치 및 규칙(80 ms 프레임 주기·6배 Repeat 업샘플링·초당 150토큰·대칭 8블록 구성, GFSQ의 그룹 간 오차 격리 vs RVQ 순차 전파, 인코딩·디코딩 RTF 배속 변환, Q4_0 디코더 3.5배 축소 및 한국어 FLEURS 지표, 16 kHz 입력 vs 24 kHz 출력 샘플링 레이트 분리, LFM Open License v1.0의 지배구조 합산 $10M USD 상업용 임계값)을 로컬에서 검증한다.
5. 사내 공유 및 기술 검토 체크리스트
아키텍처 포지셔닝 명확화(코덱/보코더 vs End-to-End TTS): 팀 내 기술 공유 시 LiquidCodec(~74M)을 단독 TTS 엔진으로 오인하지 않도록, LFM3-Audio-2B나 외부 LLM(Qwen3-1.7B 등)이 예측한 12.5 Hz 오디오 토큰을 24 kHz 파형으로 변환하는 토크나이저·보코더 계층임을 명시한다.
입출력 오디오 파이프라인 샘플링 레이트 분리(16 kHz vs 24 kHz): LFM3-Audio-2B 연동 시 마이크 입력 및 ASR 스트리밍(processor.feature_extractor.stream)은 16,000 Hz를 사용하고, codec.decode()가 반환하는 합성 음성은 24,000 Hz로 재생·저장하도록 오디오 I/O 버퍼를 분리한다.
온디바이스 배포 시 디코더 Q4_0 양자화 빌드 적용: llama.cpp GGUF(Q4_0, Q4_K_M, Q8_0) 또는 QAT 적용 디코더를 사용해 디코더 메모리 점유율을 3.5배 줄이면서도 한국어 ViSQOL(4.146) 및 CER(4.30%) 품질이 목표치를 충족하는지 확인한다.
LFM Open License v1.0의 연 매출 $10M USD 조항 및 지배구조 합산 기준 법무 검토: 무료 상업적 이용 한도인 연 매출 1,000만 달러($10,000,000 USD)는 사용 주체뿐 아니라 지배·피지배·공동 지배 관계의 계열사 전체(Legal Entity)를 합산해 판단하므로, 상용 제품이나 고객사 납품 솔루션에 포함하기 전 라이선스 저촉 여부를 반드시 확인한다.
