Huny's Dev Blog
huny.dev

LLM 투기적 디코딩(Speculative Decoding) 아키텍처 해부: 초소형 드래프트 모델 vs Medusa·EAGLE-2 특징 계층 예측·거부 샘플링(Rejection Sampling) 수학적 동등성과 추론 지연 3배 단축

대규모 언어 모델(LLM) 서빙 인프라의 핵심 가속 기법인 투기적 디코딩(Speculative Decoding)의 내부 아키텍처를 분석한다. 독립 드래프트 모델(Draft Model)과 다중 헤드(Medusa), 특징 공간 외삽(EAGLE-2/3) 3대 제안 메커니즘 비교, 단일 포워드 Tree-Attention 병렬 검증, 타겟 분포를 100% 보존하는 무손실 거부 샘플링(Rejection Sampling) 수학적 증명 및 로컬 Python 6대 런타임 불변식 검증을 살펴본다.

Hun Jang
Hun Jang Nov 15, 2026

LLM 투기적 디코딩(Speculative Decoding)의 초고속 드래프트 제안과 타겟 모델 병렬 검증 및 양자적 분기 트리를 상징하는 기하학적 추상 아트워크. 실제 코드나 다이어그램 화면이 아니다.

대규모 언어 모델(LLM)을 활용한 상용 서비스가 복잡한 에이전틱 워크플로(Agentic Workflow), 실시간 음성 상호작용, 인터랙티브 코딩 어시스턴트로 확장되면서 추론 서빙 인프라의 가장 치명적인 병목은 초당 생성 토큰 수(Tokens per Second)와 디코딩 단계의 지연 시간(Per-Token Latency)으로 귀결되고 있다 (Fast Inference from Transformers via Speculative Decoding, Leviathan et al., Accelerating Large Language Model Decoding with Speculative Sampling, Chen et al.). 트랜스포머의 자기회귀(Autoregressive) 생성 단계는 이전 토큰 1개를 입력받아 다음 토큰 딱 1개를 계산하는 본질적인 순차 의존성을 지닌다. 이 과정에서 GPU는 70B 파라미터 모델 기준 약 140GB에 달하는 막대한 가중치 행렬을 HBM(고대역폭 메모리)에서 매 토큰마다 통째로 읽어와야 하므로, 고성능 텐서 코어(Tensor Core)의 연산 유닛이 80% 이상 유휴(Idle) 상태로 낭비되는 극심한 메모리 대역폭 바운드(Memory-Bandwidth Bound)에 갇히게 된다. 이를 타파하고 비약적인 속도 혁신을 이뤄낸 핵심 패러다임이 바로 투기적 디코딩 (Speculative Decoding)이다.

핵심 판단 기준을 먼저 요약하면, 투기적 디코딩은 가볍고 빠른 드래프터(Drafter)가 미래 토큰 KK개를 미리 추측(Speculation)해두고, 거대한 타겟 모델(Target Model)이 단 1회의 병렬 순전파(Parallel Forward Pass)로 이를 일괄 검증함으로써 추론 속도를 2.5~3.8배 끌어올리는 기법이다. 드래프트 구현 방식에 따라 세 세대로 진화했는데, 1세대 독립 소형 드래프트 모델(Small Draft Model)은 별도의 VRAM과 독립 KV 캐시를 요구하고 어휘 불일치 문제가 상존했던 반면, 2세대 Medusa는 타겟 모델 백본 위에 경량 ResBlock 다중 헤드를 부착하여 별도 KV 캐시 0MB의 극소 오버헤드로 미래 토큰을 동시 예측하며, 3세대 EAGLE(EAGLE-2/3)은 이산 토큰 대신 타겟의 최상위 은닉 특징 벡터(Hidden Feature)를 외삽하여 샘플링 잡음을 제거함으로써 가장 높은 수락률(α≈0.80∼0.85\alpha \approx 0.80\sim 0.85)을 달성한다. 특히 타겟 모델의 검증 단계에서는 수학적 거부 샘플링(Rejection Sampling)을 통해 수락/거부 분기를 처리하므로, 가속 후의 최종 출력 확률 분포가 거대 타겟 모델의 단독 생성 분포와 100% 동일(Lossless Exact Match)함을 엄밀히 보장한다. 이 글은 vLLM 및 SGLang 공식 런타임 소스코드와 Medusa/EAGLE 공식 논문/커널 명세를 바탕으로 정리한 글이며, 로컬 Python 6대 핵심 알고리즘 및 런타임 불변식 검증을 기준으로 설명한다.

1. 드래프트 3대 메커니즘 vs 타겟 병렬 검증 한눈에 보기

대표적인 투기적 디코딩 아키텍처들의 구조적 특성과 리소스 트레이드오프는 아래 표와 같다 (vLLM Speculative Decoding Docs, SGLang Speculative Execution, EAGLE Paper, Medusa Paper).

비교 항목
독립 소형 드래프트 모델 (Standard Draft)
다중 헤드 예측 (Medusa-1 / Medusa-2)
특징 계층 외삽 (EAGLE-2 / EAGLE-3)
실무 아키텍처 영향
제안 방식
별도 소형 LLM (예: LLaMA-1.8B) 자기회귀 생성
타겟 은닉층에 결합된 M개 ResBlock 헤드 동시 투영
1-Layer 경량 디코더로 타겟 은닉 상태(Feature) 외삽
EAGLE은 피처 레벨 예측으로 수락률 극대화
추가 VRAM 요구량
크다 (1.8B 모델 가중치 3.5~4GB 추가 점유)
매우 작음 (베이스 lm_head 공유 시 0.2~0.5GB)
작음 (1-Layer 디코더 + lm_head 약 0.4~0.8GB)
Medusa와 EAGLE은 GPU 메모리 압박이 매우 적음
별도 KV 캐시
독립 KV 캐시 텐서 유지 필수
0 MB (별도 KV 캐시 전혀 불필요)
1개 레이어 분량의 극소 KV 캐시만 유지
Medusa는 KV 캐시 메모리 오버헤드가 제로
평균 수락률 (α\alpha)
0.55 ~ 0.70 (도메인 편차 큼)
0.60 ~ 0.75 (트리 후보 탐색 기반)
0.80 ~ 0.88 (가장 높고 안정적)
수락률이 높을수록 1회당 생성 토큰 수 급증
토큰 검증 방식
단일 선형 체인 또는 고정 분기 검증
Tree-Attention 기반 멀티 후보 동시 검증
동적 트리 확장(Dynamic Tree Mask) 검증
트리 마스킹으로 다중 후보 경로를 1회 순전파로 확인
출력 품질 손실 여부
Lossless 100% 보장 (Rejection Sampling)
Lossless 100% 보장 (Rejection Sampling)
Lossless 100% 보장 (Rejection Sampling)
비트 단위로 타겟 모델의 원본 확률 분포와 일치
권장 서빙 워크플로
서로 다른 아키텍처 모델 조합 시
단일 가중치 파일 내 내장 서빙, VRAM 극도로 제한된 환경
고성능 프로덕션 서빙 (vLLM, SGLang 프로덕션 표준)
현재 가장 실무 선호도가 높은 방식은 EAGLE

2. 투기적 디코딩의 5가지 핵심 기술 경계와 동작 원리

투기적 디코딩이 단순한 휴리스틱 캐싱을 넘어 엔터프라이즈 GPU 클러스터에서 완벽한 수학적 무손실성과 극한의 가속을 달성하는 5가지 핵심 원리는 다음과 같다:

LLM 투기적 디코딩(Speculative Decoding) 내부 아키텍처 비교 다이어그램: Draft 메커니즘 3대 방식 vs Target 모델 병렬 검증(Tree-Attention & Rejection Sampling)

  • GPU HBM 대역폭 한계 극복과 연산 바운드(Compute-Bound) 전환: 기존 자기회귀 디코딩에서 70B 모델(FP16 140GB)은 토큰 1개를 생성할 때마다 140GB 가중치를 HBM에서 로드하므로, 산술 연산 밀도(Operational Intensity = FLOPs / Byte)가 1 미만으로 극도로 낮다. 반면 투기적 디코딩에서는 드래프터가 추측한 KK개의 토큰 후보를 타겟 모델이 단 한 번의 순전파에 일괄 투입한다. 동일한 140GB 가중치를 메모리에서 단 1회 읽어오는 동안 KK개 위치에 대한 행렬곱(GEMM) 연산을 동시에 수행하므로, GPU의 하드웨어 특성이 메모리 대역폭 지연에서 텐서 코어 병렬 연산 중심으로 전환되어 하드웨어 효율이 극대화된다 (Leviathan et al., 2022).
  • 드래프트 3대 아키텍처의 혁신 (독립 모델 -> Medusa -> EAGLE): 초기의 투기적 디코딩은 작은 독립 모델(예: LLaMA-70B 앞에 LLaMA-1.8B)을 사용했으나, 별도의 KV 캐시 관리 부담과 토크나이저 어휘 불일치, 추가적인 VRAM 점유 문제가 컸다. Medusa는 타겟 모델의 마지막 은닉층 뒤에 MM개의 경량 잔차 블록(ResBlock) 헤드를 추가하여, 추가적인 KV 캐시 없이 단일 순전파에서 미래 토큰을 직접 예측하는 구조를 확립했다 (Medusa Paper). 나아가 EAGLE(Extrapolation Algorithm for Greater Language-model Efficiency)은 이산적인 토큰 ID는 샘플링 무작위성 때문에 예측 오차가 크다는 점에 착안하여, 타겟 모델의 연속적인 은닉 상태 벡터(Hidden State Features) 자체를 경량 1-Layer 디코더로 외삽하여 전달함으로써 정보 손실을 최소화하고 80% 이상의 경이적인 수락률을 달성했다 (EAGLE Paper).
  • Tree-based Attention 2D 마스킹을 통한 1회 병렬 검증: 드래프터가 단순한 선형 시퀀스(Top-1 단일 경로)만 제안하면 단 하나의 토큰만 틀려도 이후의 모든 추측이 폐기된다. 이를 극복하기 위해 Medusa와 EAGLE은 여러 유력한 후보를 트리(Tree) 구조로 분기시킨다. 타겟 모델은 이 트리 형태의 후보 노드들을 단일 배치 시퀀스로 패킹한 뒤, 인과적 트리 어텐션 마스크(2D Tree Attention Mask)를 적용한다. 이를 통해 형제 브랜치 간의 정보 누설을 완벽히 차단하고 오직 조상(Ancestor) 노드만 참조하도록 강제함으로써, 수십 개의 분기 경로를 단 1회의 트랜스포머 순전파로 동시에 검증할 수 있다.
  • 수학적 무손실(Lossless) 거부 샘플링(Rejection Sampling)과 잔여 분포 재샘플링: 투기적 디코딩의 핵심 수학적 정리는 타겟 모델의 원래 생성 확률 분포 P(x)P(x)와 완벽히 동일한 샘플링을 보장한다는 점이다. 드래프트 모델의 제안 분포 q(x)q(x)와 타겟 모델의 검증 분포 p(x)p(x)에 대해, 각 토큰은 r∼U(0,1)<min⁡(1,p(x)q(x))r \sim U(0, 1) < \min(1, \frac{p(x)}{q(x)}) 확률로 수락된다. 만약 특정 토큰이 거부되면, 즉시 추측 루프를 조기 탈출(Early Exit)하고 잔여 확률 분포 Presample(x)=max⁡(0,p(x)−q(x))1−∑ymin⁡(p(y),q(y))P_{\text{resample}}(x) = \frac{\max(0, p(x) - q(x))}{1 - \sum_y \min(p(y), q(y))}에서 보정 토큰을 새로 샘플링한다. 결합 확률을 전개하면 q(x)⋅min⁡(1,p(x)q(x))+(1−α)⋅Presample(x)=min⁡(p(x),q(x))+max⁡(0,p(x)−q(x))=p(x)q(x) \cdot \min(1, \frac{p(x)}{q(x)}) + (1 - \alpha) \cdot P_{\text{resample}}(x) = \min(p(x), q(x)) + \max(0, p(x) - q(x)) = p(x)가 되어, 어떤 근사 오차나 품질 저하도 없이 비트 단위의 수학적 동등성이 유지된다.
  • Paged KV 캐시의 트랜잭션형 커밋 및 가지치기(Commit & Prune): KK개의 후보 토큰을 검증할 때 타겟 모델의 KV 캐시에는 모든 후보 노드의 Key-Value 텐서가 임시로 기록된다. 검증 결과 jj번째 토큰까지만 수락되고 j+1j+1번째에서 거부되었다면, 수락된 jj개 토큰과 보정 샘플링된 1개 토큰의 KV 슬롯만 영구 커밋(Commit)되고, 탈락한 형제 노드 및 이후의 모든 미채택 슬롯은 무효화(Prune)되어야 한다. vLLM과 SGLang은 PagedAttention의 물리 블록 테이블에서 시퀀스 길이 포인터를 j+1j+1 위치로 되돌리는 O(1) 롤백 처리를 수행하여 메모리 파편화 없이 완벽한 컨텍스트 일관성을 유지한다.

3. 실무 서빙 설정 및 최적화 패턴

3.1 vLLM에서 Speculative Decoding 및 EAGLE 활성화

vLLM은 통일된 --speculative-config 인자를 통해 소형 드래프트 모델, Medusa, EAGLE-2 등을 네이티브로 지원한다 (vLLM Speculative Decoding Documentation).

Python 코드 내에서 LLM 엔진 인스턴스를 직접 구성할 경우:

3.2 SGLang에서 초고속 EAGLE 서빙

SGLang은 고유의 트리 커널과 최적화된 CUDA 그래프를 기반으로 가장 빠른 EAGLE-2 추론 속도를 제공한다 (SGLang Documentation).

4. 로컬 Python 6대 런타임 불변식 검증 시뮬레이션

아래 스크립트는 투기적 디코딩의 6대 핵심 알고리즘(무손실 Rejection Sampling 수학적 동등성, 단계별 Draft-Verify 조기 탈출 및 보정, Medusa vs 독립 Draft 모델 리소스 계량, EAGLE 특징 공간 외삽 시뮬레이션, Tree-Attention 인과성 토폴로지 마스크 검증, 수락률에 따른 이론적 가속비 모델)을 시뮬레이션하여 검증한다.

로컬 환경에서 위 스크립트를 실행한 결과는 다음과 같았다:

5. 실무 도입 및 운영 점검 체크리스트

서빙 부하(QPS 및 배치 크기)에 따른 투기적 디코딩 활성화 여부 결정: 투기적 디코딩은 동시 요청 수가 적어 GPU 연산 코어가 남아도는 저~중간 QPS(Low-to-Mid Load) 환경에서 단일 사용자 체감 반응 속도(Latency)를 극대화하는 기법이다. 대규모 트래픽으로 배치 크기가 이미 수백 개에 달해 GPU 연산 유닛이 100% 포화된 고부하 환경에서는 검증 단계의 추가 오버헤드로 인해 오히려 전체 처리량(Throughput)이 감소할 수 있으므로 부하별 프로파일링이 선행되어야 한다.

드래프트 토큰 수(KK)와 트리 분기(Tree Topology) 파라미터 튜닝: KK를 너무 크게 잡으면(예: K>8K > 8) 뒷부분 토큰의 기하급수적 거부 확률로 인해 검증 연산만 낭비되고, 너무 작게 잡으면(예: K=2K = 2) 얻을 수 있는 최대 가속비가 제한된다. 도메인의 문맥 복잡도에 맞춰 일반 대화형 봇은 K=4∼5K=4\sim 5, 코드 생성 등 결정론적 경향이 강한 태스크는 K=5∼7K=5\sim 7로 설정한다.

타겟 모델과 드래프트 모델 간 토크나이저 및 어휘(Vocabulary) 일치성 점검: 소형 드래프트 모델(Draft Model) 방식을 채택할 경우, 두 모델의 토크나이저 바이트 인코딩, 특수 토큰(BOS, EOS, Chat Template), 어휘 크기가 100% 일치해야 한다. 토큰 매핑 테이블 변환 오버헤드가 발생하면 지연 시간 이점이 상쇄된다. (Medusa나 EAGLE은 베이스 모델의 임베딩/헤드를 직접 공유하므로 이 문제가 원천 방지된다.)

KV 캐시 메모리 풀(vLLM block manager / SGLang memory fraction) 여유분 확보: 트리 어텐션 검증 시 순간적으로 KK개의 후보 노드에 대한 임시 KV 텐서가 생성된다. 메모리 한계에 임박한 상태(VRAM 사용률 95% 초과)에서는 후보 블록 할당 실패로 롤백이 지연되거나 OOM이 발생할 수 있으므로 정적 가용 메모리 풀에 5~10%의 버퍼를 둔다.

온도(Temperature) 및 탑-P(Top-P) 샘플링 설정 감사: Rejection Sampling은 그리디 디코딩(Argmax)뿐만 아니라 확률적 샘플링(Stochastic Sampling)에서도 타겟 분포를 완벽히 재현한다. 하지만 Temperature가 높아질수록 타겟과 드래프트의 분포 불일치가 커져 수락률(α\alpha)이 급격히 떨어지므로, 지연 시간 민감 태스크에서는 온도를 0.0∼0.30.0\sim 0.3 수준으로 낮추어 수락률을 극대화하는 것이 유리하다.

6. 참고 자료 및 공식 출처 (확인 기준일: November 15, 2026)

추천 글