DeepSeek Multi-Head Latent Attention(MLA) 아키텍처 해부: KV 캐시 98% 압축·저순위 결합 투영·디커플드 RoPE와 추론 시 가중치 흡수(Weight Absorption)

DeepSeek Multi-Head Latent Attention(MLA)의 다차원 텐서 공간과 저순위 잠재 벡터 수렴을 상징하는 기하학적 추상 아트워크. 실제 코드나 다이어그램 화면이 아니다.

대규모 언어 모델(LLM)이 64k, 128k를 넘어 수백만 토큰의 초장문 컨텍스트를 다루게 되면서, 추론 서빙 인프라의 가장 치명적인 병목은 연산량(FLOPs)이 아니라 KV(Key-Value) 캐시의 GPU 고대역폭 메모리(HBM) 점유와 메모리 대역폭 한계로 이동했다 (DeepSeek-V2 Paper, DeepSeek-V3 Technical Report). 표준 Multi-Head Attention(MHA)은 모든 생성 단계마다 과거 토큰의 고차원 Key와 Value 텐서를 메모리에 유지해야 하므로 동시 서빙 가능한 배치 크기가 급격히 축소된다. 이를 완화하기 위해 도입된 Grouped-Query Attention(GQA)은 KV 헤드를 묶어 메모리를 줄였지만, 여전히 상당한 캐시를 소모할 뿐 아니라 표현력 손실을 피할 수 없었다. DeepSeek은 이 한계를 정면으로 돌파하기 위해 Multi-Head Latent Attention (MLA) 아키텍처를 고안했다 (DeepSeek-R1 Paper).

핵심 판단 기준을 먼저 요약하면, DeepSeek MLA는 토큰의 은닉 상태(Hidden State)를 저순위 결합 투영(Low-Rank Joint Compression)을 통해 512차원의 극히 압축된 잠재 벡터(c_t^{KV})로 축소하여 캐싱하고, 회전 위치 임베딩(RoPE)과의 비트 충돌을 막기 위해 64차원의 전용 RoPE 키(k_t^R)를 분리하는 디커플드 RoPE(Decoupled RoPE) 구조를 취한다. 이를 통해 1개 토큰당 캐시 크기를 576 floats(1,152 Bytes) 수준으로 줄여, 표준 MHA 대비 98.2%, GQA 대비 71.9%의 압도적인 메모리 절감(128k 컨텍스트 61개 레이어 기준 488 GB → 8.58 GB)을 달성한다. 특히 추론(Inference) 단계에서는 행렬 결합 법칙을 활용한 '가중치 흡수(Weight Absorption)' 기법을 적용하여, 업 투영 행렬을 현재 생성 쿼리(Query) 및 출력 가중치(W_O)에 미리 흡수시킴으로써 과거 토큰의 수백 개 헤드 Key/Value 텐서를 메모리에 전혀 복원하지 않고도 O(1) 인라인 행렬곱으로 어텐션을 완수한다. 이 글은 DeepSeek-V2, V3, R1 공식 기술 보고서와 오픈소스 커널 명세를 바탕으로 정리한 글이며, 부동소수점 오차 1e-14 수준으로 입증된 로컬 Python 6대 수학적 동등성 및 런타임 불변식 검증을 기준으로 설명한다.

1. MHA vs GQA vs DeepSeek MLA 한눈에 보기

표준 MHA, GQA, 그리고 DeepSeek MLA의 아키텍처 및 추론 서빙 특성 차이는 아래 표와 같다 (DeepSeek-V3 Technical Report).

2. MLA의 5가지 핵심 기술 경계와 수학적 동작 원리

DeepSeek MLA 아키텍처 내부에서 작동하는 핵심 메커니즘과 추론 가속의 비결은 다음 5가지 원리에 집중되어 있다:

DeepSeek Multi-Head Latent Attention(MLA) 아키텍처 요약 다이어그램: 레거시 MHA/GQA 메모리 병목 극복, 저순위 결합 압축, Decoupled RoPE 및 추론 시 Weight Absorption 원리 비교

• 저순위 결합 압축(Low-Rank Key-Value Joint Compression)과 잠재 벡터 c_t^{KV}: 기존 트랜스포머는 입력 토큰의 은닉 상태 h_t \in \mathbb{R}^d로부터 n_h \times d_h 차원의 Key와 Value를 각각 독립 투영했다. DeepSeek MLA는 학습 가능한 다운 투영 가중치 W_D^{KV} \in \mathbb{R}^{d_c \times d}를 사용해 은닉 상태를 차원이 대폭 축소된 단일 잠재 벡터 c_t^{KV} = W_D^{KV} h_t(DeepSeek-V3 기준 d_c = 512)로 압축한다. Key와 Value를 각각 따로 저장하는 대신 이 압축된 잠재 벡터만 KV 캐시에 보관하므로, 레이어당 저장 공간이 기존 수만 바이트에서 수백 바이트로 축소된다 (DeepSeek-V2 Paper).

• 회전 위치 임베딩(RoPE)의 충돌 극복: 디커플드 RoPE(Decoupled RoPE): 표준 RoPE는 두 토큰의 Key와 Query 간 원소별 회전 행렬을 곱해 상대적 거리 정보를 주입한다. 그러나 Key를 저순위 잠재 벡터 c_t^{KV}로 압축해버리면, 위치 회전 행렬 R_{\theta}가 저순위 투영 행렬과 결합 법칙을 만족하지 않아 선형성이 깨지고 만다. DeepSeek은 이를 해결하기 위해 위치 정보를 다루는 전용 경로를 분리했다. 즉, 의미론적 내용(Content)을 담당하는 무위치 잠재 벡터 c_t^{KV}와 별도로, 64차원의 전용 위치 키 k_t^R = \text{RoPE}(W_{kR} h_t) \in \mathbb{R}^{d_R}(d_R = 64)를 독립 생성한다. 캐시에는 오직 c_t^{KV}(512-d)와 k_t^R(64-d)만 저장되므로 불과 576개의 실수(Float)만으로 완벽한 위치 인식 능력을 유지한다 (DeepSeek-V3 Technical Report).

• 추론 시 Key 가중치 흡수(Key Weight Absorption): 무복원(No-Up-Projection) 인라인 연산: 만약 생성 단계마다 과거의 모든 캐시 벡터 c_j^{KV}를 업 투영 가중치 W_U^K와 곱해 원본 Key 텐서로 복원해야 한다면, 연산량과 GPU 메모리 쓰기 병목이 발생해 압축의 이점이 사라진다. DeepSeek은 행렬 연산의 결합 법칙(Associativity)을 이용해 이를 우회했다. q_t^\top (W_U^K c_j^{KV}) = (q_t^\top W_U^K) c_j^{KV}이므로, 과거의 모든 c_j^{KV}를 복원하는 대신 현재 생성 단계의 단일 Query 벡터 q_t에 업 투영 가중치 W_U^K를 먼저 곱해 q_{absorbed} \in \mathbb{R}^{d_c}를 한 번만 계산해 둔다. 이후 캐시 메모리에 있는 수만 개의 c_j^{KV}와 즉시 내적을 수행함으로써, 과거 토큰의 Key 텐서를 단 1바이트도 복원하지 않고 고속 어텐션 스코어를 도출한다 (FlashMLA Design).

• Value 가중치 흡수(Value Weight Absorption) 및 출력 프로젝션 융합: Value 경로 역시 동일한 결합 법칙이 적용된다. 어텐션 가중치 \alpha_{t, j}와 업 투영된 Value W_U^V c_j^{KV}를 곱하고 최종 출력 가중치 W_O를 곱하는 연산은 다음과 같이 재구성된다: \sum_j \alpha_{t, j} (W_U^V c_j^{KV}) W_O = \left( \sum_j \alpha_{t, j} c_j^{KV} \right) (W_U^V W_O). 즉, 캐시된 잠재 벡터들의 가중치 합을 먼저 구한 뒤, 사전에 행렬곱해 둔 융합 가중치 \tilde{W}_O = W_U^V W_O와 단 1회 행렬곱을 수행한다. 이로써 어텐션의 전체 파이프라인에서 수백 개 헤드의 중간 고차원 텐서가 완전히 제거된다.

• 128k+ 긴 컨텍스트 서빙과 GPU 메모리 대역폭 한계(Memory-Bound) 극복: 거대 언어 모델의 토큰 생성(Decode) 단계는 산술 연산량(Compute)보다 HBM에서 과거 KV 캐시를 읽어오는 메모리 대역폭(Memory Bandwidth)에 의해 속도가 결정되는 대표적인 메모리 바운드(Memory-Bound) 작업이다. MLA는 캐시 데이터 이동량을 98% 이상 절감함으로써 GPU의 메모리 버스 포화를 방지하고, HBM 읽기 대기 시간을 획기적으로 단축하여 초당 생성 토큰 수(TPS)를 극대화한다.

3. 실무 예제: PyTorch 및 추론 서빙 최적화 패턴

3.1 DeepSeek MLA 모듈 및 추론 가중치 사전 흡수(Weight Pre-fusion) 코드

아래 코드는 DeepSeek MLA의 핵심 레이어 정의와 추론(Inference) 시 가중치 흡수(Weight Absorption)를 적용하여 Key/Value 복원 없이 어텐션을 계산하는 PyTorch 패턴이다.

3.2 vLLM 및 고성능 추론 엔진 서빙 설정

vLLM 및 SGLang 환경에서 DeepSeek-V3 / R1 모델을 서빙할 때는 FlashMLA 전용 Triton/CUDA 커널을 활성화하여 초장문 배치 처리를 최적화할 수 있다 (vLLM DeepSeek Optimization).

4. 로컬 Python 6대 런타임 불변식 검증 시뮬레이션

아래 Python 스크립트는 DeepSeek MLA의 6대 핵심 내부 불변식(저순위 결합 압축 및 복원, Decoupled RoPE 위치 분리 직교성, 추론 시 Key 가중치 흡수의 수학적 동등성, Value 가중치 흡수 및 출력 프로젝션 동등성, MHA 대비 98.2% 메모리 절감 불변식, 엔드투엔드 자기회귀 스텝 및 Softmax 정규화)을 시뮬레이션하여 검증한다.

로컬 환경에서 위 스크립트를 실행한 결과는 다음과 같았다:

5. 실무 마이그레이션 및 도입 점검 체크리스트

6. 참고 자료 및 공식 출처 (확인 기준일: November 15, 2026)

• DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model (arXiv:2405.04434)

• DeepSeek-V3 Technical Report (arXiv:2412.19437)

• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (arXiv:2501.12948)

• DeepSeek-AI FlashMLA: High-Performance GPU Kernel for MLA Decoding

• vLLM Documentation — DeepSeek Architecture Serving Best Practices