Speculative Decoding(투기적 디코딩) 원리와 가속 아키텍처: Draft Model과 Rejection Sampling부터 Medusa·EAGLE-3 및 vLLM 서빙 최적화까지

거대 언어 모델(LLM)의 순차적 자가회귀 디코딩 병목을 돌파하고 단일 순방향 패스로 다중 토큰을 일괄 검증하는 Speculative Decoding(투기적 디코딩) 및 Rejection Sampling 가속 아키텍처를 상징하는 추상 기하학 아트워크다. 고속 경량 드래프트 궤도와 거대 타깃 코어의 병렬 공명, 발광 분기 트리 노드 매트릭스 및 가속 빔 임펄스를 조형적으로 형상화했다.

생성형 AI(Generative AI)와 대규모 언어 모델(LLM)의 서빙 비용 및 응답 속도는 프로덕션 AI 시스템의 성패를 가르는 핵심 지표다. 많은 엔지니어들이 모델 추론 속도를 높이기 위해 양자화(INT8/FP8/AWQ), FlashAttention, PagedAttention과 같은 기술을 도입하지만, 텍스트가 1글자씩 스트리밍되는 생성(Decode) 단계에 이르면 여전히 GPU가 제 성능을 내지 못하고 초당 수십 토큰 수준에 머무는 병목과 마주하게 된다.

이 병목의 본질은 GPU 연산 성능(FLOPS)의 부족이 아니라, 매 토큰을 생성할 때마다 수십 기가바이트(GB)에 달하는 전체 모델 가중치를 GPU VRAM에서 연산 코어로 반복해서 읽어와야 하는 메모리 대역폭 한계(Memory-Bandwidth Bound)에 있다. 배치 크기가 작은 대화형 서비스나 실시간 코딩 어시스턴트 환경에서는 수십~수백 TFLOPS에 달하는 GPU 연산 텐서 코어의 95% 이상이 유휴 상태(Idle)로 낭비된다.

결론부터 말하면 투기적 디코딩(Speculative Decoding)은 작은 경량 드래프트 모델(Draft Model) 또는 보조 디코딩 헤드가 K개의 미래 토큰을 저비용으로 빠르게 앞서 추측(Speculation)하고, 대규모 타깃 모델(Target Model)이 단 1회의 순방향 연산(Forward Pass)으로 이를 병렬 검증하여 수학적 무손실(Lossless)을 유지하면서 추론 지연시간을 2~3.4배 단축하는 혁신적인 가속 아키텍처다. 출력되는 확률 분포가 원래의 거대 타깃 모델과 수학적으로 100% 동일하므로, 모델 품질이나 추론 정확도의 저하가 전혀 발생하지 않는다.

최근 DeepMind와 구글의 원본 논문에서 제안된 독립 소형 모델(SLM) 방식을 넘어, 모델 헤드 위에 다중 예측 브랜치를 올린 Medusa, 히든 상태의 연속 피처를 외삽하는 EAGLE-2 / EAGLE-3, 그리고 DeepSeek이 도입한 Multi-Token Prediction(MTP)에 이르기까지 vLLM과 SGLang 등 핵심 서빙 프레임워크의 프로덕션 표준 기술로 자리매김했다.

이 글에서는 자가회귀 디코딩의 하드웨어적 병목 원인부터 Rejection Sampling의 무손실 수학적 증명, 최신 투기 아키텍처(Medusa, EAGLE-3)의 내부 구조를 심층 분석한다. 또한 본문 도식화 다이어그램을 통해 단일 순방향 병렬 검증 파이프라인을 살펴보고, 로컬 Python 시뮬레이션으로 직접 검증한 5대 핵심 시나리오와 프로덕션 도입 체크리스트를 정리한다.

전통적인 Autoregressive 디코딩의 순차적 1토큰 생성 병목(상단) 대비, Speculative Decoding의 3단계 파이프라인(Phase 1 드래프트 제안 ➔ Phase 2 타깃 단일 포워드 병렬 평가 ➔ Phase 3 Rejection Sampling 및 롤백/보정 토큰 확정)과 최신 프로덕션 아키텍처(하단)를 비교한 시스템 아키텍처 다이어그램이다.

1. LLM 자가회귀(Autoregressive) 생성의 메모리 대역폭 병목 해부

Transformer 기반 LLM의 추론은 긴 프롬프트를 한 번에 병렬 처리하는 Prefill 단계와, 토큰을 1개씩 순차적으로 출력하는 Decode 단계로 나뉜다.

1) 왜 디코드 단계는 Compute-bound가 아니라 Memory-bound인가?

Prefill 단계에서는 $N$ 개의 프롬프트 토큰이 행렬-행렬 곱(GEMM, Matrix-Matrix Multiplication) 형태로 연산되어 GPU의 산술 연산 밀도(Arithmetic Intensity, FLOPs/Byte)가 매우 높다. 즉, GPU의 연산 코어가 가득 차서 일하는 Compute-bound 상태가 된다.

반면 Decode 단계에서는 직전 1개의 토큰 벡터와 전체 모델 가중치 행렬 간의 행렬-벡터 곱(GEMV, Matrix-Vector Multiplication)이 일어난다:

Llama-3-70B 모델(FP16 가중치 약 140GB)을 예로 들면, 단 1개의 토큰을 생성하기 위해 140GB의 가중치 전체를 HBM(High Bandwidth Memory)에서 GPU 캐시/SRAM으로 읽어와야 한다.

최신 NVIDIA H100 GPU의 HBM3 대역폭이 초당 약 3.35TB/s이므로, 140GB 가중치를 읽는 데 걸리는 물리적 최소 시간은 약 $140 / 3350 \approx 41.8\text{ ms}$ 이다.

이 시간 동안 GPU의 수천 개 텐서 코어는 가중치가 메모리 버스를 통과해 도착하기만을 기다리며 거의 놀고 있게 된다.

2) 투기적 디코딩의 발상: "놀고 있는 연산 코어로 K개 토큰을 한꺼번에 검증하자"

만약 누군가 다음 5개의 토큰 후보(예: "The", "quick", "brown", "fox", "jumps")를 미리 주방에서 꺼내놓는다면 어떨까?

타깃 모델은 1개의 토큰이 아니라 5개의 토큰을 입력받아 단 1번의 포워드 패스를 돌린다.

5개 토큰을 한 번에 처리하더라도 모델 가중치(140GB)를 HBM에서 읽어오는 횟수는 여전히 단 1회다.

즉, 1토큰을 만들 때 소요되던 41.8ms의 메모리 대역폭 비용으로 5개 토큰의 Logit(확률 분포)을 동시에 계산할 수 있게 되는 것이다.

이것이 투기적 디코딩이 하드웨어 한계를 우회하여 지연시간을 극적으로 줄이는 핵심 원리다.

2. Speculative Decoding의 핵심: Rejection Sampling 수학적 무손실 증명

투기적 디코딩이 단순한 근사 기법이나 휴리스틱과 결정적으로 다른 점은 **수학적으로 완벽한 무손실(Lossless)**이라는 점이다. 즉, 투기적 디코딩을 거쳐 출력된 텍스트의 확률 분포는 거대 타깃 모델이 단독으로 디코딩했을 때의 분포와 비트 단위까지 통계적으로 완벽히 일치한다.

1) 표준 Rejection Sampling 알고리즘

타깃 모델의 토큰 $x$ 에 대한 확률 분포를 $p(x)$ , 드래프트 모델의 확률 분포를 $q(x)$ 라고 하자.
드래프트 모델이 $q(x)$ 에서 특정 토큰 $\tilde{x}$ 를 샘플링하여 제안했을 때, 타깃 모델은 다음 조건부 확률로 해당 토큰을 수락(Accept)한다:

$ $r = \min\left(1, \frac{p(\tilde{x})}{q(\tilde{x})}\right)$$

수락 조건 ( $u < r$ ): 균등 분포 $u \sim U(0, 1)$ 가 $r$ 보다 작으면 제안된 토큰 $\tilde{x}$ 를 그대로 최종 출력으로 채택한다.

거절 조건 ( $u \ge r$ ): 만약 거절되면, 타깃 모델은 제안된 토큰을 버리고 보정된 잔여 확률 분포(Residual Distribution) $p_{\text{res}}(x)$ 에서 새 토큰을 즉시 샘플링한다:

$ $p_{\text{res}}(x) = \frac{\max(0, p(x) - q(x))}{\sum_{x'} \max(0, p(x') - q(x'))}$$

2) 왜 최종 분포가 타깃 모델 분포 $p(x)$ 와 일치하는가?

최종 토큰이 $x$ 로 선택될 총 확률 $P_{\text{final}}(x)$ 는 (드래프트에서 수락될 확률) + (거절 후 잔여 분포에서 뽑힐 확률)의 합이다:

$ $P_{\text{final}}(x) = q(x) \cdot \min\left(1, \frac{p(x)}{q(x)}\right) + \left(1 - \sum_{x'} \min(p(x'), q(x'))\right) \cdot \frac{\max(0, p(x) - q(x))}{1 - \sum_{x'} \min(p(x'), q(x'))}$$

분모와 분자의 $\left(1 - \sum \min(p, q)\right)$ 항이 정확히 약분되므로 식을 정리하면:

$ $P_{\text{final}}(x) = \min(p(x), q(x)) + \max(0, p(x) - q(x)) = p(x)$$

어떤 임의의 드래프트 모델 $q(x)$ 를 사용하더라도, 최종 출력 분포는 수학적으로 정확하게 $p(x)$ 로 수렴한다. 드래프트 모델이 아무리 엉터리더라도 결과물의 품질이 떨어지는 일은 결코 없으며, 단지 수락률이 낮아져 속도 향상이 줄어들 뿐이다.

3) 수락률( $\alpha$ )과 스텝당 기대 토큰 수(Expected Acceptance)

드래프트 모델이 $K$ 개의 토큰을 연속해서 제안할 때, 평균 토큰 일치율(Acceptance Rate)을 $\alpha \in [0, 1]$ 라고 하자.
연속된 토큰들이 독립적인 수락률 $\alpha$ 를 갖는다고 가정하면, 1회의 타깃 모델 순방향 연산으로 확정되는 평균 토큰 수 $\mathbb{E}[N]$ 은 다음과 같은 닫힌 형태(Closed-form)의 기하급수 공식으로 유도된다:

$ $\mathbb{E}[N] = 1 + \sum_{i=1}^{K} \alpha^i = \frac{1 - \alpha^{K+1}}{1 - \alpha}$$

$\alpha = 0.60, K=5$ 인 경우: $\mathbb{E}[N] \approx 2.38$ 토큰/스텝 (순방향 연산 횟수 약 58% 절감)

$\alpha = 0.80, K=5$ 인 경우: $\mathbb{E}[N] \approx 3.73$ 토큰/스텝 (순방향 연산 횟수 약 73% 절감)

$\alpha = 0.90, K=5$ 인 경우: $\mathbb{E}[N] \approx 4.69$ 토큰/스텝 (순방향 연산 횟수 약 79% 절감)

거절이 발생하더라도 그 위치에서 타깃 모델이 보정 토큰 1개를 즉시 배출하므로, 최악의 경우(첫 토큰부터 거절)에도 최소 1개의 유효 토큰이 보장된다.

3. 최신 투기적 디코딩 아키텍처 진화: Standalone SLM vs Medusa vs EAGLE-3

초기 투기적 디코딩은 별도의 소형 모델을 함께 띄워야 했지만, 최근 2년간 아키텍처는 극적인 진화를 거듭했다.

1) Standalone Small LLM (전통적 2-모델 방식)

구조: Llama-3-70B(타깃)와 Llama-3-8B(드래프트)처럼 동일 계열의 소형 모델을 GPU에 별도로 로드한다.

장점: 사전 훈련된 기존 오픈소스 모델을 그대로 활용할 수 있어 별도의 추가 학습이 불필요하다.

단점: 드래프트 모델을 위한 VRAM이 추가로 소모되며, 두 모델의 어휘 사전(Tokenizer Vocab)이 정확히 일치해야 한다. 또한 드래프트 모델 자체도 수십 억 파라미터에 달해 디코딩 연산 오버헤드가 제법 크다.

2) Medusa (Multi-Head Speculation)

구조: 별도의 소형 모델을 띄우지 않고, 타깃 모델의 마지막 트랜스포머 블록 출력단에 경량의 **단일 선형 계층(MLP Head) 복수 개(Medusa Heads)**를 붙인다.

작동 방식: 1번 헤드는 $t+1$ 토큰을, 2번 헤드는 $t+2$ 토큰을, 3번 헤드는 $t+3$ 토큰을 각각 독립적으로 병렬 예측한다.

Tree Attention: 독립된 헤드들의 예측 오류를 극복하기 위해 단일 경로가 아닌 트리 형태의 다중 후보(Top-k 분기)를 구성하고, 타깃 모델이 커스텀 어텐션 마스크(Tree Attention Mask)를 통해 한 번에 검증한다.

3) EAGLE (EAGLE-2 / EAGLE-3) & Multi-Token Prediction (MTP)

구조: Medusa의 이산(Discrete) 토큰 독립 예측 한계를 극복하기 위해, **타깃 모델의 LM Head 직전 최상위 은닉 상태(Feature-level Embedding)**를 경량 트랜스포머 디코더로 자기회귀 외삽한다.

혁신점: 토큰 레벨의 텍스트 공간은 불연속적이고 엔트로피가 높지만, 임베딩 피처 공간은 연속적이고 부드러워 예측 정확도가 비약적으로 높다.

결과: Llama-3, Qwen-2.5 등에서 수락률 80~88% 이상을 달성하며, 실제 vLLM 프로덕션 환경에서 2.5x~3.4x의 최고 가속 배율을 기록하고 있다. DeepSeek-V3/R1의 MTP(Multi-Token Prediction) 모듈 역시 이와 동일한 설계 철학을 공유한다.

4. 주요 투기 기법별 특성 및 성능 비교

운영 환경에 적합한 투기 기법을 선택하기 위해 대표적인 4가지 아키텍처를 비교하면 다음과 같다.

차원 / 아키텍처	Standalone SLM (기본)	Medusa (다중 헤드)	EAGLE-3 (피처 외삽)	DeepSeek MTP (통합)
드래프트 메커니즘	별도 소형 독립 모델 추론	복수 MLP 디코딩 헤드 병렬 예측	최상위 히든 피처 자기회귀 외삽	사전 학습 통합 멀티토큰 레이어
추가 VRAM 요구량	높음 (수 GB ~ 16GB+)	매우 낮음 (수백 MB 수준)	낮음 (1~2GB 내외)	0 (모델 파라미터에 내장)
평균 토큰 수락률 ( $\alpha$ )	60% ~ 75%	65% ~ 78% (Tree Attention)	80% ~ 88%+	75% ~ 85%
실측 지연시간 가속비	1.6x ~ 2.2x	1.9x ~ 2.5x	2.5x ~ 3.4x	2.2x ~ 3.0x
추가 훈련 필요 여부	없음 (기성 모델 페어링)	필수 (헤드 가중치 LoRA 튜닝)	필수 (경량 피처 디코더 훈련)	사전 학습 단계에서 통합 완료
vLLM 지원 여부	`--speculative-model <slm>`	`--speculative-model medusa`	`--speculative-model eagle`	`--speculative-model mtp`

5. 로컬 Python으로 검증하는 Speculative Decoding 5대 핵심 시나리오

Rejection Sampling의 수학적 무손실성과 K-토큰 롤백, 수락률 가속비 및 트리 어텐션 메커니즘을 로컬 Python 스크립트(test_speculative_decoding.py)로 구현하여 직접 검증했다.

직접 실행해 확인한 5가지 핵심 검증 결과

로컬 실행 결과 5가지 시나리오가 모두 정상 통과(All 5 Speculative Decoding verification checks passed successfully!)함을 확인했다.

Rejection Sampling 수학적 무손실성 검증 (Case 1):

타깃 분포 $P(x) = [0.10, 0.40, 0.25, 0.15, 0.10]$ 와 드래프트 분포 $Q(x) = [0.20, 0.25, 0.20, 0.20, 0.15]$ 에 대해 15만 회 몬테카를로 Rejection Sampling을 수행한 결과, 샘플링된 최종 분포 $P'(x) = [0.0991, 0.4007, 0.2510, 0.1500, 0.0992]$ 로 수렴했다.

Total Variation Distance(TVD) 오차가 0.00174로 허용 오차(0.01) 이내에 안착하여 수학적 무손실 일치성을 실증했다.

K-Token 순차 검증 및 조기 거절·롤백(Rollback) 검증 (Case 2):

드래프트가 제안한 4개 토큰 [1, 2, 3, 4]에 대해 타깃 모델이 단 1회 포워드로 병렬 검증을 수행했다.

1번, 2번 토큰은 정상 수락되고 3번 토큰 위치에서 확률 불일치로 거절되었을 때, 4번 토큰은 즉시 버려지고(Rollback) 3번 위치에 타깃의 보정 토큰 0이 교체 삽입되어 최종 [1, 2, 0]의 3개 유효 토큰이 배출됨을 확인했다.

수락률( $\alpha=0.75, K=5$ ) 기반 스텝 절감율 모델 검증 (Case 3):

기하급수 이론 공식에 따른 스텝당 평균 기대 토큰 수(3.2881 토큰/스텝)와 10,000스텝 시뮬레이션 실측치(3.2647 토큰/스텝)의 상대 오차가 **0.71%**에 불과함을 확인했다.

단 1번의 타깃 순방향 패스로 평균 3.26개 토큰을 일괄 확정함으로써 순방향 연산 횟수가 69.37% 감소함을 확인했다.

Greedy Decoding (T=0) Bit-exact 무결성 검증 (Case 4):

드래프트 모델이 일부 구간에서 오답을 내더라도 타깃의 Argmax 값과 엄격 비교하여 거절·교체하는 과정을 거쳤을 때, 최종 생성된 전체 토큰 시퀀스가 순수 타깃 모델의 Ground Truth와 **100% 동일(Bit-exact Match)**함을 입증했다.

Tree Speculative Decoding vs Linear 체인 수락률 비교 (Case 5):

깊이 3의 후보 시퀀스에서 단일 선형 체인의 수락률은 $15.82\%$ 에 불과했으나, 4개 브랜치를 병렬로 검증하는 Tree Attention 방식에서는 수락률이 ** $41.37\%$ 로 급증(+161.6% 향상)**하여 다중 후보 트리의 효용성을 확인했다.

검증 범위 명시: 위 검증은 CPU 환경에서 확률 분포 간 Rejection Sampling 알고리즘의 통계적 수렴, 토큰 수락/롤백 제어 루프, 그리고 이론적 수락률 모델의 동작 무결성을 입증한 것이다. 실제 고성능 GPU 클러스터에서는 텐서 병렬화(Tensor Parallelism) 오버헤드, 배치 크기 증가에 따른 연산 코어 포화(Saturation), 그리고 HBM 메모리 대역폭 대비 연산 오버헤드 간의 임계점을 추가로 계측해야 한다.

6. 프로덕션 vLLM 서빙 도입 및 운영 실무 체크리스트

배치 크기(Concurrency)에 따른 동적 온오프(Adaptive Speculation) 설정:

투기적 디코딩은 동시 요청 수가 적어 메모리 대역폭이 남는 환경(Batch Size < 8)에서 최대 효율을 발휘한다.

동시 동시 접속자가 몰려 시스템이 Compute-bound로 전환되는 피크 타임에는 검증 오버헤드로 인해 오히려 전체 스루풋이 저하될 수 있으므로, vLLM의 --speculative-disable-by-batch-size 옵션 등을 통해 임계치 이상의 부하에서는 일반 자가회귀로 자동 전환해야 한다.

어휘 사전(Tokenizer Vocab) 일치성 필수 검증:

Standalone SLM을 사용할 경우 타깃 모델과 드래프트 모델의 토크나이저 어휘 사전 크기, 특수 토큰(BOS, EOS, Chat Template) ID가 100% 일치해야 한다. 토크나이저 불일치는 즉각적인 런타임 오류나 0%의 수락률을 초래한다.

투기 토큰 개수( $K$ , num_speculative_tokens)의 스위트 스팟 튜닝:

$K$ 를 너무 크게 잡으면(예: $K > 8$ ) 드래프트 연산 시간과 타깃 검증 행렬 크기가 커져 오버헤드가 급증한다.

일반적인 텍스트 생성 환경에서는 $K=3 \sim 5$ , 코드 생성처럼 문법 패턴이 정형화되어 수락률이 높은 도메인에서는 $K=5 \sim 7$ 이 가장 최적의 손익분기점을 형성한다.

EAGLE-3 가중치 선택 및 엔진 버전 호환성 확인:

vLLM 최신 버전에서 EAGLE을 구동할 때는 타깃 기본 베이스 모델(예: meta-llama/Llama-3.1-70B-Instruct)과 완벽히 튜닝된 공식 EAGLE 가중치 레포지토리를 매핑해야 한다.

GPU VRAM 여유 마진(Headroom) 확보:

Medusa나 EAGLE은 적은 VRAM을 쓰지만, 트리 어텐션 검증을 위한 추가 KV Cache 버퍼를 할당한다. gpu_memory_utilization 설정을 기본 0.9에서 0.85~0.88 수준으로 조정하여 OOM(Out of Memory) 회귀를 방지해야 한다.