DeepSeek Multi-Head Latent Attention(MLA) 해부: 93.3% KV 캐시 압축과 Decoupled RoPE·행렬 흡수(Matrix Absorption) 무손실 가속 원리

고차원 다중 헤드(Multi-Head) 텐서들이 중앙의 초고밀도 잠재 코어(Latent Core)로 집중 압축 수렴하고, 분리된 위상 궤도(Decoupled RoPE Orbital Rings)가 회전 기하학을 정밀 보존하며, 황금빛 행렬 흡수(Matrix Absorption) 플럭스가 무손실 초고속 연산 필드를 방출하는 DeepSeek Multi-Head Latent Attention(MLA)의 내부 아키텍처를 상징하는 추상 비주얼 아트워크다. 동심원 궤도와 다면체 코어를 통해 거대 언어 모델 추론 서빙의 메모리 효율성을 시각화했다.

거대 언어 모델(LLM)이 64k, 128k를 넘어 백만 토큰에 달하는 초장기 컨텍스트(Long Context)를 처리하고 복잡한 다중 에이전트 워크플로를 수행함에 따라, 엔지니어링 현장에서 가장 심각한 인프라 병목으로 떠오른 것은 연산 코어의 연산량(FLOPs)이 아닌 **고대역폭 메모리(HBM)의 용량과 대역폭 한계(Memory Bandwidth Bound)**다. 자가회귀(Autoregressive) 생성 루프에서 이전 모든 토큰의 Key와 Value를 GPU 메모리에 유지해야 하는 **KV 캐시(KV Cache)**는 시퀀스 길이와 동시 동적 배치(Batch Size)가 늘어남에 따라 기하급수적으로 폭증한다. 예를 들어 128개의 어텐션 헤드를 갖는 대형 모델에서 128k 토큰 컨텍스트를 서빙할 경우, 단 하나의 요청을 처리하는 데에만 수십 기가바이트(GB)에 달하는 순수 KV 캐시 메모리가 소모되어 GPU HBM을 완전히 고갈시킨다. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model, DeepSeek-V3 Technical Report

결론부터 말하면 DeepSeek의 Multi-Head Latent Attention(MLA)은 고차원의 Key와 Value를 저차원 잠재 벡터(Latent Vector, $c_t^{KV}$ )로 합동 압축(Low-Rank Joint Compression)하여 캐시함으로써, 표준 MHA 대비 KV 캐시 메모리를 무려 93.3% 절감하면서도 MHA 수준의 풍부한 모델 표현력을 유지하는 차세대 어텐션 아키텍처다. 특히 위치 회전 연산과 선형 압축 간의 수학적 충돌을 **Decoupled RoPE(분리된 회전 위치 임베딩)**로 우회하고, 추론(Decoding) 시에는 업프로젝션 가중치 행렬을 쿼리에 미리 결합하는 행렬 흡수(Matrix Absorption) 기법을 적용하여 캐시된 저차원 벡터를 원래 크기로 복원(Decompress)하는 어떠한 오버헤드도 없이 100% 무손실 동등성으로 초고속 어텐션을 연산한다. 최신 고성능 추론 엔진인 vLLM과 SGLang은 MLA를 네이티브 지원하여 동일 서빙 클러스터 대비 최대 5~6배 높은 동시 처리량(Throughput)을 입증했다.

이 글에서는 긴 컨텍스트 서빙에서 기존 MHA, MQA, GQA가 직면한 근본적인 한계를 짚어보고, MLA의 핵심 기둥인 저차원 합동 압축, Decoupled RoPE, 행렬 흡수의 수학적 원리와 시스템적 최적화 메커니즘을 상세히 해부한다. 이어 로컬 Python 검증 스크립트로 직접 증명한 5가지 핵심 시나리오와 프로덕션 서빙 클러스터 구축 시 필수 점검 체크리스트를 정리한다.

1. LLM 서빙의 최대 난제: 긴 컨텍스트에서 폭증하는 KV Cache와 기존 방식의 딜레마

트랜스포머 기반 LLM의 자가회귀 디코딩 과정에서는 매 스텝마다 이전 토큰들의 Key와 Value 텐서를 재계산하지 않기 위해 HBM에 캐시해 둔다.

표준 MHA(Multi-Head Attention)의 메모리 폭증: MHA에서는 모든 어텐션 헤드( $n_h$ )마다 독립적인 Key와 Value 벡터( $d_h$ )를 저장한다. 단일 토큰당 필요한 KV 캐시 요소 수는 $2 \times n_h \times d_h$ 다. 예를 들어 DeepSeek 사양( $n_h = 128, d_h = 128$ , FP16 2바이트)을 적용하면 토큰 1개당 무려 $2 \times 128 \times 128 \times 2 = 65,536\text{ Bytes}(64\text{ KB})$ 가 필요하다. 컨텍스트 길이가 4,096 토큰일 때는 시퀀스당 256MB이지만, 128k 토큰에 이르면 단 한 개의 시퀀스 요청당 8GB라는 경악스러운 메모리가 KV 캐시로만 잠식된다.

MQA(Multi-Query Attention)의 표현력 희생: 모든 쿼리 헤드가 단 1개의 Key-Value 헤드를 공유하도록 강제하여 메모리를 $1/n_h$ 로 줄였으나, 다양한 문맥적 관계를 포착하는 다중 헤드의 고유 표현력이 심각하게 훼손되어 모델 정확도 저하를 겪는다.

GQA(Grouped-Query Attention)의 절충과 한계: Llama-3 등에서 채택된 GQA는 쿼리 헤드들을 여러 그룹(예: 8개 그룹)으로 묶어 KV 헤드를 공유함으로써 타협점을 찾았다. 그러나 컨텍스트 길이가 수만 토큰을 넘어가는 환경에서는 여전히 상당한 메모리를 차지하며, 그룹 수가 줄어들수록 MQA와 유사한 용량 손실 압박을 받는다.

표준 Multi-Head Attention(MHA)과 DeepSeek Multi-Head Latent Attention(MLA)의 KV 캐시 저장 구조 및 Decoupled RoPE 분리 경로 비교 아키텍처 다이어그램이다. 토큰당 수만 바이트에 달하던 전체 K/V 텐서를 512차원의 컴팩트 잠재 벡터 c_t^{KV}와 64차원의 분리 RoPE 키 k_t^R로 압축하여 93.3% 이상의 메모리 절감을 달성하는 전체 흐름을 도식화했다.

2. Low-Rank Joint KV Compression: 잠재 공간(Latent Space) 투영의 원리

DeepSeek MLA는 헤드 수를 억지로 줄이는 대신, 선형 대수학의 **저계수 분해(Low-Rank Factorization)**를 통해 Key와 Value 전체를 매우 작은 공통 잠재 공간으로 투영하는 방식을 택했다.

1) 토큰 은닉 상태의 저차원 합동 다운 프로젝션

모델의 $t$ 번째 토큰 은닉 상태(Hidden State) 벡터를 $h_t \in \mathbb{R}^{d}$ 라 하자. MLA는 $h_t$ 로부터 직접 거대한 다중 헤드 Key와 Value를 뽑지 않고, 먼저 다운 프로젝션 가중치 행렬 $W^{DKV} \in \mathbb{R}^{d_c \times d}$ 를 곱하여 저차원 잠재 벡터 $c_t^{KV}$ 를 생성한다.

$ $c_t^{KV} = W^{DKV} h_t \quad (c_t^{KV} \in \mathbb{R}^{d_c})\$$

여기서 압축 잠재 차원 $d_c$ 는 통상 $512$ 로 설정된다. 기존에 $n_h \times d_h = 128 \times 128 = 16,384$ 차원에 달하던 Key와 Value의 거대한 공간이 단 512차원의 단일 벡터로 대폭 압축되는 것이다.

2) 학습 단계에서의 업프로젝션 복원

학습(Training) 단계에서는 이 압축된 잠재 벡터 $c_t^{KV}$ 에 업프로젝션 행렬 $W^{UK} \in \mathbb{R}^{(n_h d_h) \times d_c}$ 및 $W^{UV} \in \mathbb{R}^{(n_h d_h) \times d_c}$ 를 곱하여 각 헤드별 원래 차원의 Key와 Value를 복원한다.

$ $k_{t,i}^C = W_{(i)}^{UK} c_t^{KV}, \quad v_{t,i}^C = W_{(i)}^{UV} c_t^{KV}\$$

여기서 중요한 점은 HBM에 저장되는 캐시 대상은 거대한 $k_{t,i}^C$ 와 $v_{t,i}^C$ 가 아니라 오직 작은 잠재 벡터 $c_t^{KV}$ 뿐이라는 사실이다. 이로써 저장 용량을 극적으로 축소할 수 있는 기반이 마련된다.

3. Decoupled RoPE: 회전 위치 임베딩과 저차원 압축의 수학적 충돌 해결

그러나 여기서 결정적인 수학적 난관이 발생한다. 최신 트랜스포머 모델이 토큰의 상대적 순서를 학습하기 위해 필수적으로 사용하는 **RoPE(Rotary Position Embedding)**는 토큰의 위치 인덱스 $t$ 에 따라 직교 회전 행렬 $\mathcal{R}_t$ 를 벡터에 곱하는 연산이다.

1) RoPE와 선형 압축 간의 충돌 문제

만약 Key 벡터에 위치 회전 $\mathcal{R}_t$ 를 적용한 뒤 잠재 벡터로 압축하려 하거나, 잠재 벡터 $c_t^{KV}$ 를 복원한 뒤 $\mathcal{R}_t$ 를 곱하게 되면 다음과 같은 문제가 발생한다:

위치 회전 행렬 $\mathcal{R}_t$ 는 매 토큰 위치 $t$ 마다 계속 변하는 회전 변환이다.

회전 변환이 Key 벡터에 결합되어 버리면, 선형 업프로젝션 행렬 $W^{UK}$ 와 쿼리 $Q$ 사이의 결합 법칙이 성립하지 않아 후술할 행렬 흡수(Matrix Absorption) 최적화가 원천적으로 불가능해진다.

그렇다고 잠재 벡터 $c_t^{KV}$ 자체에 회전 행렬을 적용하면, 위치 $t$ 에 따른 회전이 헤드별 독립적인 의미 공간을 교란하여 위치 정보가 왜곡된다.

2) 분리된 전용 RoPE 경로(Decoupled RoPE) 설계

DeepSeek은 이 난제를 풀기 위해 **콘텐츠(Content) 경로와 위치(Position) 경로를 물리적으로 완전히 분리(Decouple)**하는 혁신적인 해법을 고안했다.

콘텐츠 Key/Value(Content Path): 의미적 문맥을 담는 Key와 Value는 RoPE 회전 없이 순수한 선형 변환만 거쳐 저차원 잠재 벡터 $c_t^{KV} \in \mathbb{R}^{d_c}$ 에 압축 저장된다.

위치 Key/Query(Decoupled RoPE Path): 위치 정보를 전담하는 소형의 RoPE 전용 Key $k_t^R \in \mathbb{R}^{d_r}$ 와 Query $q_{t,i}^R \in \mathbb{R}^{d_r}$ ( $d_r = 64$ )를 별도로 투영하고, 여기에만 RoPE 회전 변환 $\mathcal{R}_t$ 를 적용한다.

어텐션 로짓의 직교 합산: 최종 어텐션 스코어 $S_{t, j}$ 는 두 경로의 내적 값을 독립적으로 계산하여 합산한다.

$ $S_{t, j, i} = \frac{(q_{t,i}^C)^T k_{j,i}^C + (q_{t,i}^R)^T \mathcal{R}_{t-j} k_j^R}{\sqrt{d_h + d_r}}\$$

이 분리 구조 덕분에 $k_j^R$ 는 128개의 모든 헤드가 공유하는 단 64차원의 벡터로 유지될 수 있으며, 의미적 Key/Value는 회전 변환의 간섭 없이 순수 선형 압축 상태를 온전히 보존하게 된다.

추론(Decoding) 시 복원 오버헤드를 0으로 제거하는 행렬 흡수(Matrix Absorption) 메커니즘 다이어그램이다. 나이브 복원 방식과 달리 업프로젝션 가중치 W^{UK}를 쿼리(Q)에 미리 결합하여 흡수된 쿼리 Q_{abs}를 생성함으로써, 캐시된 저차원 잠재 벡터와 직접 내적을 수행하는 무손실 가속 과정을 도식화했다.

4. 추론 시 행렬 흡수(Matrix Absorption): KV 복원 없는 초고속 디코딩

MLA가 단순한 메모리 압축 기술을 넘어 실제 서비스 환경에서 극적인 추론 속도 향상을 이끌어내는 핵심 비결은 바로 추론 시 행렬 흡수(Matrix Absorption) 트릭에 있다.

1) 나이브(Naive) 복원의 성능 참사

만약 매 생성 스텝마다 캐시된 잠재 벡터 $c_t^{KV}$ 를 원래의 16,384차원 Key/Value로 일일이 업프로젝션( $K = c^{KV} W^{UK}$ )한 뒤 어텐션을 계산한다면, 막대한 연산 오버헤드와 SRAM 메모리 대역폭 낭비로 인해 오히려 추론 지연 시간이 늘어나는 역효과가 발생한다.

2) 선형 결합 법칙을 이용한 Key 가중치 흡수

행렬 곱셈의 **결합 법칙(Associative Property)**을 어텐션 연산에 적용해 보자. 쿼리 헤드 $q_{t,i}^C$ 와 콘텐츠 Key $k_{j,i}^C$ 의 내적은 다음과 같이 전개된다.

$ $(q_{t,i}^C)^T k_{j,i}^C = (q_{t,i}^C)^T (W_{(i)}^{UK} c_j^{KV}) = \left( (q_{t,i}^C)^T W_{(i)}^{UK} \right) c_j^{KV}\$$

여기서 놀라운 사실을 발견할 수 있다. 현재 생성 중인 토큰의 쿼리 $q_{t,i}^C$ 에 업프로젝션 가중치 행렬 $W_{(i)}^{UK}$ 를 미리 곱해 두면, 새로운 **흡수된 쿼리 벡터(Absorbed Query)**가 만들어진다:

$ $q_{t,i}^{\text{abs}} = (q_{t,i}^C)^T W_{(i)}^{UK} \quad (q_{t,i}^{\text{abs}} \in \mathbb{R}^{1 \times d_c})\$$

$q_{t,i}^{\text{abs}}$ 는 단일 토큰에 대해 단 한 번만 계산하면 되는 매우 가벼운 연산이다.

이제 과거의 모든 토큰( $j = 1 \dots t$ )에 대해 거대한 Key 행렬을 복원할 필요 없이, 캐시된 512차원의 잠재 벡터 $c_j^{KV}$ 와 흡수된 쿼리 $q_{t,i}^{\text{abs}}$ 의 내적을 HBM에서 바로 계산하면 된다.

수학적으로 원본 어텐션 스코어와 **100% 한 치의 오차도 없이 동일(Lossless Equivalence)**하다.

3) Value 프로젝션의 지연 흡수(Deferred Value Absorption)

Value 쪽 역시 동일한 원리가 적용된다. 소프트맥스를 거친 어텐션 가중치 확률 분포를 $A_{t, i} \in \mathbb{R}^{1 \times T}$ 라 할 때:

$ $\text{Output}_i = A_{t, i} V_i = A_{t, i} (c^{KV} W_{(i)}^{UV}) = \left( A_{t, i} c^{KV} \right) W_{(i)}^{UV}\$$

$T$ 개의 토큰에 대해 거대한 Value 행렬 전체를 복원하여 가중합을 구하는 대신, 먼저 잠재 벡터들과 어텐션 가중치의 내적 $\tilde{c} = A_{t, i} c^{KV} \in \mathbb{R}^{1 \times d_c}$ 를 계산한다.

그 후 압축된 결과 벡터 $\tilde{c}$ 에 $W_{(i)}^{UV}$ 를 단 한 번만 곱해주면 최종 어텐션 출력이 완성된다.

결과적으로 시스템은 추론 디코딩 루프 내내 고차원 Key와 Value를 단 한 번도 메모리에 실체화(Materialize)하지 않는다.

5. 기존 MHA vs MQA vs GQA vs DeepSeek MLA 아키텍처 비교

각 어텐션 아키텍처의 구조적 특징과 메모리 효율성을 비교하면 다음과 같다.

비교 항목	1. 표준 MHA (Multi-Head)	2. MQA (Multi-Query)	3. GQA (Grouped-Query)	4. DeepSeek MLA (Latent Attention)
KV 캐시 압축 방식	압축 없음 (헤드별 전체 저장)	KV 헤드 수를 1개로 축소	KV 헤드 수를 G개 그룹으로 축소	저차원 잠재 공간(Low-Rank) 합동 압축
토큰당 캐시 요소 수	$2 \cdot n_h \cdot d_h$ (예: 32,768)	$2 \cdot d_h$ (예: 256)	$2 \cdot n_{\text{group}} \cdot d_h$ (예: 2,048)	$d_c + d_r$ (단 576 요소!)
KV 캐시 바이트/토큰 (FP16)	65,536 Bytes (64 KB)	512 Bytes (0.5 KB)	4,096 Bytes (4 KB)	1,152 Bytes (1.125 KB, 93.3%~98.2% 절감)
4K 컨텍스트 시퀀스당 캐시	256 MB	2 MB	16 MB	4.5 MB
모델 표현력 손실 여부	원형 기준 (손실 없음)	심각한 표현력 저하 발생	약간의 성능 하락 발생	MHA 동등 이상의 풍부한 표현력 유지
위치 인코딩(RoPE) 처리	모든 Key 헤드에 직접 적용	단일 Key 헤드에 직접 적용	그룹 Key 헤드에 직접 적용	Decoupled RoPE (전용 64차원 분리 경로)
추론 복원 오버헤드	복원 없음	복원 없음	복원 없음	행렬 흡수(Matrix Absorption)로 복원 오버헤드 0

6. 로컬 Python으로 검증하는 MLA 핵심 메커니즘 시뮬레이션

DeepSeek MLA의 핵심 원리인 (1) 저차원 합동 압축 파이프라인, (2) Decoupled RoPE 위치 불변성과 직교성, (3) 추론 시 행렬 흡수( $Q W^{UK \top}$ )와 나이브 복원의 수학적 완전 일치( $10^{-15}$ 정밀도), (4) Value 프로젝션 결합 법칙 성립, (5) 사양별 KV 캐시 메모리 풋프린트 정량 비교를 구현한 로컬 Python 스크립트(test_multi_head_latent_attention.py)를 작성하여 실행했다.

직접 실행해 확인한 5가지 검증 시나리오

로컬 터미널 환경에서 검증 스크립트를 직접 실행하여 5가지 시나리오가 모두 정상 통과(ALL 5 MULTI-HEAD LATENT ATTENTION (MLA) VERIFICATION CHECKS PASSED SUCCESSFULLY!)함을 확인했다.

저차원 합동 압축(Low-Rank Joint Compression) 정합성 검증 (Case 1): 은닉 상태 $d_{\text{model}} = 2048$ 차원에서 $d_c = 512$ 차원의 잠재 벡터로 다운 프로젝션 후, 업프로젝션을 거쳐 $n_h \times d_h = 2048$ 차원의 Key/Value로 형상이 완벽하게 복원됨을 검증했다. 잠재 캐시만으로 87.5%의 순수 콘텐츠 압축률을 달성했다.

Decoupled RoPE 직교성 및 위치 정보 보존 검증 (Case 2): 콘텐츠 어텐션 점수가 토큰의 상대 위치와 무관하게 완전히 불변(0.013723)으로 고정되는 반면, 분리된 64차원 RoPE 경로는 상대 거리(거리 0 vs 거리 5)에 따라 각각 -0.010591, -0.022121로 정확하게 위상 변조를 수행하여 위치 정보를 정밀 보존함을 확인했다.

추론 시 행렬 흡수(Matrix Absorption) 수학적 무손실 동등성 증명 (Case 3): 캐시된 잠재 벡터를 나이브하게 복원하여 계산한 어텐션 스코어와 쿼리에 $W^{UK \top}$ 를 흡수시켜 잠재 벡터와 직접 계산한 스코어 사이의 최대 절대 오차(Max Absolute Error)가 $8.88 \times 10^{-16}$ 으로 기계적 부동소수점 한계 수준의 완벽한 수학적 일치를 입증했다.

Value 프로젝션 지연 흡수(Associativity) 검증 (Case 4): 어텐션 가중치와 전체 Value 행렬을 곱한 나이브 출력과 어텐션 가중치와 잠재 벡터를 먼저 결합한 후 프로젝션한 출력 간의 최대 오차가 $2.78 \times 10^{-17}$ 을 기록하여 결합 법칙의 완전성을 입증했다.

실제 DeepSeek 사양 기반 KV 캐시 메모리 풋프린트 정밀 벤치마크 (Case 5): 128헤드, 헤드 차원 128, 컨텍스트 4,096 토큰(FP16) 조건에서 표준 MHA는 시퀀스당 256.00MB(65,536 Bytes/토큰), GQA(8그룹)는 16.00MB(4,096 Bytes/토큰)를 소비한 반면, DeepSeek MLA는 단 4.50MB(1,152 Bytes/토큰)만을 소비하여 MHA 대비 98.24%의 경이적인 메모리 절감율을 입증했다.

7. 프로덕션 LLM 서빙 클러스터 도입 및 성능 최적화 체크리스트

추론 엔진의 네이티브 MLA 커널(FlashMLA / Triton) 탑재 여부 점검:

프레임워크가 MLA를 인식하지 못하고 나이브 업프로젝션으로 디코딩을 수행하면 압축의 이점만 얻고 추론 속도가 급락한다. vLLM(최신 릴리스)이나 SGLang, 또는 DeepSeek 공식 FlashMLA 커널이 활성화되어 쿼리 결합(Matrix Absorption) 어텐션 커널이 GPU 텐서 코어에서 직접 실행되는지 확인해야 한다.

PagedAttention 블록 크기와 잠재 벡터 정렬(Alignment) 조율:

MLA의 캐시 단위는 표준 MHA와 달리 $512(\text{Latent}) + 64(\text{RoPE}) = 576$ 개의 요소(FP16 기준 1,152 바이트)다. GPU 메모리 메모리 버스 트랜잭션 단위(128바이트)와 PagedAttention의 블록 크기(Block Size 16 또는 32)가 비정렬 패딩 없이 최적으로 할당되는지 메모리 풀 정렬을 점검해야 한다.

동시 동적 배치(Batch Size) 상향 및 Max Model Concurrency 재산정:

KV 캐시 사용량이 기존 모델 대비 1/15 수준으로 줄어들기 때문에, 서빙 클러스터의 max_num_seqs 및 max_num_batched_tokens 파라미터를 최소 3~5배 이상 상향 조정해야 한다. 이를 통해 동일한 GPU 인스턴스 대수에서 동시 사용자 수용량을 극대화할 수 있다.

Decoupled RoPE 회전 각도 및 RoPE Scaling(YaRN) 일치 확인:

128k 이상의 초장기 컨텍스트 서빙 시 DeepSeek 모델은 YaRN(Yet another RoPE extensioN) 기법을 사용한다. 콘텐츠 잠재 벡터에는 스케일링이 개입하지 않지만, 분리된 64차원 RoPE 키/쿼리 경로에 YaRN 주파수 스케일링 팩터가 정확하게 바인딩되어 있는지 점검해야 한다.

FP8 Mixed Precision 서빙과의 결합 시너지 극대화:

DeepSeek-V3/R1 모델 계열은 가중치뿐 아니라 캐시 텐서에도 FP8 양자화를 적극 도입했다. 잠재 벡터 $c_t^{KV}$ 를 FP8로 양자화할 경우 토큰당 캐시 바이트는 576 바이트 수준으로 더욱 압축되어, 8개 노드의 GPU 클러스터에서 수백만 토큰의 동시 추론 세션을 안정적으로 유지할 수 있다.