Huny's Dev Blog
huny.dev

GitHub 차세대 Git 스토리지 아키텍처(Project Rubicon) 해부: 불변 객체(Azure Blob Storage)·Ref-CAS 경량 합의·Virtual Replicas로 단일 저장소 5,000 에이전트 동시 푸시 돌파하기

2026년 11월 GitHub이 공개한 차세대 Git 스토리지 아키텍처 Project Rubicon의 핵심 설계 원칙(합의 최소화, 스토리지·컴퓨트 분리)을 분석한다. 불변 Git 객체를 Azure Blob Storage로 분리하고 가변 참조 및 Pack Manifest만 Ref-CAS 복제 로그로 원자적 처리해 단일 저장소 5,000 동시 에이전트·초당 7,200회 푸시를 달성한 구조와, Stateless Virtual Replicas, Lease 기반 백그라운드 콤팩션, 그리고 로컬 Python 6대 불변식 검증을 정리한다.

Hun Jang
Hun Jang Nov 17, 2026

GitHub 차세대 Git 스토리지 아키텍처 Project Rubicon의 다중 에이전트 동시 푸시 및 스토리지·컴퓨트 분리 개념 추상 아트워크

소프트웨어 개발 환경이 인간 중심의 간헐적 커밋에서 자율형 AI 코딩 에이전트 중심의 상시·대규모 병렬 작업으로 이동하면서, 지난 20년간 유지되어 온 Git 저장소 백엔드 설계가 근본적인 한계에 부딪히고 있다. 인간 개발자가 협업하는 일반 저장소에서는 초당 수십 건 수준의 간헐적 쓰기 버스트가 주를 이루지만, 수천 개의 AI 에이전트가 동시에 브랜치를 생성해 테스트 코드를 푸시하고, CI 파이프라인이 컨텍스트를 연속적으로 조회하는 에이전틱 워크플로우에서는 단일 저장소에 가해지는 동시 쓰기·읽기 압력이 수십 배 이상 폭증한다. 기존의 로컬 파일시스템 기반 Git 백엔드(초기 GitHub의 DGit 및 Spokes 포함)는 스토리지와 컴퓨트가 강하게 결합되어 있고 다중 복제본(Replica) 전체에 걸쳐 다단계 합의(Quorum)를 수행해야 했기 때문에, 읽기 확장을 위해 복제본을 늘릴수록 오히려 쓰기 지연이 커지는 구조적 모순을 안고 있었다.

2026년 11월 5일 GitHub 엔지니어링 블로그(Inside GitHub's new Git storage architecture)는 이 병목을 근본적으로 해결하기 위해 백지부터 재설계한 차세대 Git 스토리지 아키텍처 Project Rubicon을 공개했다. GitHub의 내부 부하 테스트에서 이 아키텍처는 단일 저장소 기준 동시 AI 에이전트 5,000개가 참여해 초당 7,200회의 푸시(7,200 pushes/s)를 수행하는 극한 상황에서도 낮은 읽기 지연 시간(Low Read Latency)을 안정적으로 유지했다.

핵심 판단 기준을 먼저 요약하면, Project Rubicon은 '합의 최소화(Minimize Coordination)'와 '스토리지·컴퓨트 분리(Decouple Storage from Compute)'라는 두 가지 원칙을 중심에 둔다. Git의 핵심 데이터인 Blob, Tree, Commit 객체는 내용 기반 주소 지정(Content-Addressed)을 따르는 불변(Immutable) 데이터이므로 여러 에이전트가 저장소 전역 락 없이도 Azure Blob Storage에 대용량 Packfile을 병렬 업로드할 수 있다. 오직 가변 상태인 브랜치·태그 포인터(Reference)와 활성 팩 목록(Pack Manifest)만 경량 복제 로그 서비스인 Ref-CAS(Reference Compare-and-Swap)로 분리하고, 합의 범위를 저장소 전체가 아닌 개별 참조(Per-Reference) 단위로 축소한다. 또한 일회용 무상태 컴퓨트 노드인 Virtual Replicas는 로컬 디스크를 순수 읽기 캐시(Ephemeral Cache)로만 사용하며, LSN(Log Sequence Number) 비교를 통해 변경이 없는 읽기는 Blob 조회 없이 즉시 처리한다. 파편화된 Pack 병합과 가비지 컬렉션은 분산 임대(Lease)를 획득한 백그라운드 콤팩션 워커가 요청 경로 밖에서 비동기로 수행한다. 이 글은 공식 GitHub 엔지니어링 공개 자료(Inside GitHub's new Git storage architecture, Building Git infrastructure for agent-scale development)를 교차 검증해 정리한 분석이며, 공개된 아키텍처 명세와 로컬 Python 6대 불변식 검증을 기준으로 설명한다.

1. 두 가지 핵심 설계 원칙: 합의 최소화와 스토리지·컴퓨트 분리

Project Rubicon이 기존 분산 Git 스토리지의 한계를 돌파한 비결은 Git 내부 데이터 모델의 특성을 분산 시스템 합의 이론에 정확히 대입한 데 있다.

  1. 합의 최소화 (Minimize Coordination):
      • Git 푸시 작업은 크게 '무거운 객체(Commit, Tree, Blob) 업로드'와 '가벼운 참조(Reference) 포인터 갱신' 두 단계로 나뉜다.
      • Git 객체는 SHA 해시로 식별되는 불변 데이터다. 동일한 내용을 두 에이전트가 동시에 쓰더라도 해시가 같고 서로의 객체를 덮어쓸 위험이 없으므로, 대용량 객체 업로드 단계에서는 분산 락이나 쿼럼 합의가 전혀 필요하지 않다.
      • 실제로 순서 보장과 원자성이 필요한 영역은 refs/heads/feature-x 같은 브랜치 포인터와 현재 유효한 Pack 목록(Pack Manifest)을 바꾸는 메타데이터 커밋뿐이다.
  1. 스토리지·컴퓨트 분리 (Decouple Storage from Compute):
      • 기존 아키텍처에서는 특정 서버의 로컬 디스크가 권위 있는(Authoritative) 저장소 복제본 역할을 겸했기 때문에, 컴퓨트 장애 시 복제본 동기화와 디스크 재구축에 막대한 비용이 들었다.
      • Project Rubicon은 영구 상태(Pack, Index, Read Accelerator)를 Azure Blob Storage와 Ref-CAS로 완전히 내려보내고, 요청을 처리하는 컴퓨트 노드를 언제든 폐기·재생성할 수 있는 무상태(Stateless) 풀로 전환해 읽기·쓰기·유지보수 트래픽을 독립적으로 수평 확장한다.

2. 기존 Spokes(DGit) 대비 4가지 기술 경계 및 아키텍처 비교

전통적 분산 Git 백엔드에서 Project Rubicon으로 전환할 때 엔지니어가 명확히 구분해야 할 4가지 동작 경계는 다음과 같다:

  • 참조 단위(Per-Ref) 합의 vs 저장소 단위(Per-Repo) 락: 과거에는 서로 다른 브랜치에 푸시하더라도 저장소 레벨의 복제본 쿼럼이나 단일 Write-Ahead-Log 경합이 발생했다. Project Rubicon의 Ref-CAS는 각 참조별 Compare-and-Swap 트랜잭션을 독립적으로 커밋하므로, 에이전트들이 각자 전용 브랜치(예: refs/heads/agent-1..5000)에 푸시할 때 서로를 전혀 대기시키지 않는다.
  • Blob-Before-Ref 영속성 순서 불변식: Ref-CAS가 참조를 새 커밋 OID로 갱신하기 전에, 해당 커밋과 조상 객체를 담은 Packfile 및 .idx 파일이 반드시 Azure Blob Storage에 내구적으로 기록되어 있어야 한다. 이를 통해 장애 상황에서도 존재하지 않는 객체를 가리키는 댕글링 참조(Dangling Reference)가 원천 차단된다.
  • 읽기 확장이 쓰기 지연으로 전이되지 않는 구조: 과거 다중 복제본 방식에서는 읽기 용량을 늘리기 위해 복제본을 추가하면 쓰기 쿼럼에 참여해야 하는 노드 수도 함께 늘어 쓰기 지연이 증가했다. 반면 Virtual Replicas는 Ref-CAS의 LSN만 대조하는 캐시 노드에 불과하므로, 수백 개의 읽기 전용 Virtual Replica를 늘려도 쓰기 경로에는 단 1ms의 지연도 추가되지 않는다.
  • 클라이언트 프로토콜 100% 호환성: 백엔드 스토리지가 Azure Blob Storage와 복제 로그로 완전히 재편되었음에도 개발자와 에이전트가 사용하는 표준 git push, git fetch, git clone 프로토콜은 단 하나도 변경할 필요가 없다.
비교 항목
기존 로컬 디스크 / 초기 Spokes(DGit)
GitHub Project Rubicon (차세대 아키텍처)
상태 저장 위치
파일 서버 로컬 디스크에 전체 저장소 복제본 상주
불변 객체: Azure Blob Storage / 참조·매니페스트: Ref-CAS
쓰기 합의 단위
저장소 전체 복제본 간 다단계 커밋 쿼럼 참여
객체는 Lock-Free 병렬 업로드 / 참조만 Per-Ref CAS 커밋
읽기/쓰기 결합도
읽기 복제본 증가 시 쓰기 쿼럼 및 동기화 부하 동반 상승
완전 분리 (Stateless Virtual Replicas로 읽기 독립 확장)
장애 복구 및 스케일링
로컬 디스크 기반 복제본 재동기화(rsync 등) 필요
로컬 디스크 = 일회용 캐시 (노드 폐기 후 즉시 재생성)
Pack 콤팩션 및 GC
서빙 노드 디스크·CPU 자원과 git gc 경합 발생
분산 Lease 기반 Background Compaction 워커가 비동기 처리
단일 저장소 처리 한계
인간 중심 간헐적 버스트(초당 수십 건 수준)에 최적화
내부 검증 기준 5,000 동시 에이전트 · 7,200 Push/s 달성

3. Project Rubicon 4대 코어 아키텍처 심층 분석

GitHub Project Rubicon 3계층 아키텍처 (Spokes 진입 라우터, Stateless Virtual Replicas, Azure Blob Storage 불변 객체·Ref-CAS 복제 로그·Background Compaction) 다이어그램

3.1 Azure Blob Storage: Write-Once 불변 객체와 읽기 가속기

GitHub은 이미 전체 저장소의 99.99999% 이상을 Azure 인프라로 마이그레이션한 기반 위에서, 대용량 Git 데이터를 Azure Blob Storage에 직접 적재한다:

  1. Packfile 및 인덱스 영속화:
      • 푸시 요청이 들어오면 Virtual Replica가 수신된 Pack을 인덱싱(.idx)하고, 고유 키를 부여해 Azure Blob Storage에 한 번만 기록(Write-Once)한다.
      • 기존 파일이 수정되는 일이 없으므로 스토리지 계층에서 분산 락 경합이 발생하지 않는다.
  1. 읽기 가속 데이터 동반 저장:
      • 대규모 모노레포나 깊은 커밋 히스토리에서도 git fetch·clone 탐색 비용이 폭증하지 않도록, Multi-Pack-Index(MIDX), 도달 가능성 비트맵(Reachability Bitmaps), Commit-Graph 같은 Git 코어 가속 인덱스도 불변 아티팩트로 함께 Blob Storage에 보관한다.

3.2 Ref-CAS와 Pack Manifest: 초당 수만 회 처리하는 경량 합의 계층

Ref-CAS(Reference Compare-and-Swap)는 저장소 메타데이터의 단일 진실 공급원(Single Source of Truth) 역할을 맡는 고성능 복제 로그 서비스다:

  1. 참조(Reference)와 Pack Manifest의 원자적 결합:
      • 푸시 완료 시 Virtual Replica는 Blob Storage 업로드가 끝난 Pack ID를 저장소의 활성 팩 목록인 Pack Manifest에 추가하고, 대상 브랜치 포인터(expected_old_oid → new_oid)를 갱신하는 작업을 단일 Ref-CAS 트랜잭션으로 커밋한다.
      • 이때 각 커밋마다 단조 증가하는 LSN(Log Sequence Number)이 부여되어 저장소의 정확한 시점 버전을 식별한다.
  1. 경합 격리와 낙관적 동시성 제어:
      • 서로 다른 브랜치에 대한 푸시는 Ref-CAS 내부에서 각 참조별 쿼럼으로 독립 진행되며, 오직 동일 브랜치의 끝(Tip)을 동시에 바꾸려는 충돌 요청만 CAS 검증을 통해 안전하게 거부된다.

3.3 Spokes 진입 계층과 Stateless Virtual Replicas

기존 Spokes는 완전히 폐기된 것이 아니라 진입 계층(Ingress Layer)으로 진화해 요청 라우팅, 부하 분산, 테넌트 공정성(Tenant Fairness) 제어, 내부 Repository API 서빙을 담당하며 트래픽을 하위 Virtual Replicas 풀로 전달한다:

  1. ETag 방식의 초경량 캐시 검증:
      • Virtual Replica에 읽기 요청이 도착하면 먼저 Ref-CAS와 현재 로컬 캐시의 LSN(버전)만 비교한다.
      • 저장소에 변경이 없다면(Cache Hit) Azure Blob Storage에 전혀 접근하지 않고 로컬 캐시에서 즉시 응답한다.
  1. 차분 동기화와 무중단 노드 교체:
      • LSN이 뒤처져 있다면 갱신된 참조 목록과 Pack Manifest를 확인해 누락된 신규 Pack만 Blob Storage에서 가져온다.
      • 로컬 디스크가 손상되거나 노드가 강제 종료되어도 영구 상태는 Blob Storage와 Ref-CAS에 있으므로, 새 Virtual Replica를 즉시 투입해 캐시만 다시 채우면 서비스 영향 없이 복구된다.

3.4 Lease 기반 백그라운드 콤팩션과 향후 로드맵

수천 개의 AI 에이전트가 1초에 수천 번씩 작은 증분(Incremental) Pack을 쏟아내면 Pack Manifest가 수만 개의 미세 Pack으로 파편화되어 읽기 성능이 저하될 수 있다. Project Rubicon은 이를 Background Compaction Nodes로 해결한다:

  1. 분산 Lease를 통한 배타적 샤드 소유권:
      • 백그라운드 콤팩션 워커는 특정 저장소 또는 팩 샤드에 대해 분산 임대(Lease)를 획득한 뒤, 활성 클라이언트 I/O를 전혀 가로막지 않고 봉인된 미세 Pack들을 읽어 들인다.
  1. 무결성 검증, 기하급수적 리팩 및 Manifest 원자 교체:
      • 워커는 객체 도달 가능성 및 무결성을 검증하고, 병합된 대형 Pack과 함께 MIDX·Bitmap·Commit-Graph를 재생성해 Blob Storage에 올린 뒤, Ref-CAS에 원자적으로 Pack Manifest 교체를 커밋하고 기존 파편 Pack을 정리한다.
  1. GitHub의 후속 로드맵:
      • 비공개 프리뷰(Limited Private Preview) 이후 단계적 확대 적용, 전체 Pack이 아닌 필요 객체 단위 정밀 읽기(Fine-Grained Object Reads), 유휴 저장소의 동적 Scale-to-Zero, 그리고 에이전트 워크플로우를 위한 원자적 멀티파일 커밋 API 및 네이티브 실시간 이벤트 스트림 지원이 예고되어 있다.

4. 로컬 Python 6대 아키텍처 불변식 검증 스크립트

아래 Python 스크립트는 외부 패키지 없이 표준 라이브러리만으로 Project Rubicon의 6대 핵심 불변식(① Content-Addressed 불변 객체 Lock-Free 업로드 및 중복 제거, ② 브랜치별 Ref-CAS 원자적 쿼럼 및 구버전 CAS 충돌 차단, ③ Blob-Before-Ref 영속성 순서 보장을 통한 댕글링 참조 원천 차단, ④ Stateless Virtual Replica LSN 캐시 히트 및 로컬 디스크 초기화 복구, ⑤ 분산 Lease 기반 백그라운드 콤팩션·MIDX/Bitmap 갱신·중복 워커 배제, ⑥ 120개 병렬 에이전트 동시 푸시 + 백그라운드 콤팩션 + Virtual Replica 읽기 무결성)을 로컬에서 검증한다:

실행 결과:

5. 실무 AI 에이전트 저장소 운영 체크리스트

에이전트별 독립 브랜치 네임스페이스 분리: 다수의 자율형 코딩 에이전트가 동일 저장소에 동시 푸시할 때는 main이나 단일 공용 브랜치에 직접 커밋하지 말고 agent/<session-id> 패턴으로 브랜치를 분리해 Per-Reference CAS 경합을 0으로 유지한다.

대용량 모노레포의 가속 인덱스 유지 점검: 에이전트의 얕은 복제(Shallow Clone)나 부분 복제(Partial Clone) 요청이 잦은 저장소에서는 commit-graph와 Multi-Pack-Index(MIDX) 및 Reachability Bitmap이 최신 상태로 유지되는지 확인해 CPU 스파이크를 방지한다.

Merge Queue 및 CI/CD 동시성 폭증 대비: 초당 수백~수천 건의 에이전트 푸시가 발생하면 Git 스토리지 계층이 버티더라도 후속 GitHub Actions 러너와 훅(Webhook) 컨슈머가 병목이 될 수 있으므로, 브랜치 보호 규칙과 Merge Queue 배치 크기를 함께 튜닝한다.

이진(Binary) 아티팩트와 Git 객체 분리: 불변 객체 스토리지 구조에서도 거대한 모델 가중치나 빌드 산출물을 Git 이력에 직접 커밋하면 Pack 전송과 캐시 웜업 비용이 급증하므로 Git LFS 또는 외부 아티팩트 레지스트리 분리를 유지한다.

원격 푸시 재시도(Idempotent Retry) 정책 구현: 동일 브랜치에 경합이 발생해 CAS 충돌(non-fast-forward / ref update conflict)이 반환될 경우, 무조건 강제 푸시(--force)하지 않고 최신 참조를 다시 fetch·리베이스한 뒤 재시도하는 백오프 루프를 에이전트 런타임에 내장한다.

6. 참고 자료 및 공식 출처 (2026-11-17 확인)

확인 기준일: November 17, 2026

추천 글