Huny's Dev Blog
huny.dev

Google ABFS(Another Build File Service) 아키텍처 해부: CASFS 커널 모듈·Ninja-go 2단계(Two-Phase) Tapping 캐시와 AI 에이전트 병렬 워크스페이스 가속 경계 점검하기

2026년 11월 Google이 오픈소스로 공개한 대규모 Git 모노레포 가속 시스템 ABFS(Another Build File Service)를 해부한다. 체크아웃을 ~36분에서 8초 미만으로, 풀 빌드를 ~80분에서 2분대로 줄이는 CASFS(GPL-2.0) 커널 모듈의 지연 마테리얼라이제이션, Ninja-go·abfsbox(Apache-2.0)의 Read-Patch/Write-Patch 2단계 Tapping 캐시 원리, 로컬 Python 검증 결과와 실무 도입 경계를 정리한다.

Hun Jang
Hun Jang Nov 23, 2026

Google ABFS(Another Build File Service) 추상 표지 아트워크: 대규모 모노레포 트리 메타데이터가 중앙 콘텐츠 주소 지정(CAS) 코어를 거쳐 다중 격리 워크스페이스로 스트리밍되는 구조를 표현한 기하학 그래픽

Google이 2026년 11월 오픈소스로 공개한 ABFS(Another Build File Service)의 핵심은 수천 개의 Git 저장소와 수백만 개 파일로 구성된 초대형 모노레포(AOSP 등)에서 체크아웃 시 파일 본문을 내려받지 않고 CASFS 커널 모듈을 통해 콘텐츠 해시(xattr) 기반 지연 로드(Lazy Loading)를 수행하며, Ninja-go와 Tapping 훅으로 실제 읽기·쓰기 패치(Read/Write Patch)를 기록·검증하는 2단계 콘텐츠 주소 기반 캐시를 결합해 체크아웃을 약 36분에서 8초 미만으로, 풀 빌드를 약 80분에서 2분대로 단축했다는 점이다.

2026년 11월 17일 Google은 공식 개발자 블로그(Accelerating development for massive Git repositories)와 GitHub(google/abfs)를 통해 대규모 멀티-리포지토리 환경의 체크아웃과 빌드 병목을 해결하는 ABFS(Another Build File Service)를 오픈소스로 공개했다. Android 오픈소스 프로젝트(AOSP)처럼 수천 개의 Git 저장소와 수백만 개 파일, 수백 GB에 달하는 코드베이스에서는 전통적인 부분 클론(partial clone)과 로컬 타임스탬프(mtime) 기반 빌드를 사용하더라도 초기 동기화에만 30분 이상, 클린 빌드에는 1시간 이상이 소요되어 개발자뿐만 아니라 병렬로 여러 워크스페이스를 띄워 작업하는 AI 코딩 에이전트(Agentic Workflows)의 반복 주기를 가로막는 주원인이 되어 왔다.

이 글은 확인 기준일 November 23, 2026 시점의 Google 공식 블로그 발표, ABFS 공식 문서, google/abfs 및 google/abfs-casfs 저장소, 그리고 GCP 인프라 배포 모듈(terraform-google-abfs) 공개 자료를 교차 검증하여 정리했다. 실제 AOSP 풀 소스 트리에 대한 커널 모듈 실측 벤치마크는 별도로 수행하지 않았으며, 공개된 아키텍처 계약(CASFS xattr 해시 노출, Cacheman 온디맨드 스트리밍, Ninja-go 2단계 Read-Patch 검증, CoW 격리)을 로컬 Python 시뮬레이션 스크립트로 재현·검증한 결과와 실무 도입 경계를 중심으로 해부한다.

1. 기존 Git/빌드 캐시와 무엇이 다른가: 3가지 핵심 설계 경계

ABFS를 단순한 git sparse-checkout이나 ccache/sccache 같은 컴파일러 래퍼 캐시와 동일선상에 놓고 비교하면 아키텍처적 차별점을 놓치기 쉽다. ABFS는 파일시스템 커널 계층과 빌드 그래프 실행기, 원격 저장소를 하나의 콘텐츠 주소 지정(Content-Addressable) 모델로 통합한다.

  1. 유저스페이스 Git VFS가 아닌 커널 모듈(CASFS) + 데몬(Cacheman) 조합이다: 체크아웃 순간 수백만 개 파일의 바이트를 디스크에 기록하는 대신, 리눅스 커널 파일시스템 모듈인 CASFS(google/abfs-casfs, GPL-2.0)가 디렉터리 트리·메타데이터와 Git SHA 콘텐츠 해시를 확장 속성(xattr) 형태로 즉시 노출한다. 실제 파일 바이트는 도구(cat, clang, soong 등)가 open()/read()를 호출하는 시점에만 유저스페이스 데몬 Cacheman을 통해 원격 CAS 백엔드에서 온디맨드로 스트리밍한다. 이로써 기존 git, repo, 빌드 툴체인을 수정하지 않고도 AOSP 기준 체크아웃 시간을 약 36분에서 8초 미만(로컬 캐시 유무에 따라 약 3.6~7.4초대)으로 줄인다.
  1. 타임스탬프(.ninja_log) 기반 증분 빌드의 한계를 2단계 Tapping 캐시로 돌파한다: 기존 Ninja는 파일의 수정 시각(mtime)과 .ninja_deps에 의존하기 때문에, 다른 머신(CI 서버)에서 빌드한 산출물을 다른 개발자 PC나 AI 에이전트 워크스페이스로 그대로 가져와도 타임스탬프 불일치로 인해 재빌드가 발생한다. 반면 ABFS의 Go 기반 Ninja 호환 엔진 Ninja-go는 파일의 mtime 대신 콘텐츠 해시와 Tapping 기록을 결합해 CI와 로컬/에이전트 간 최대 100%에 달하는 빌드 액션 캐시 재사용을 달성한다.
  1. 빌드 스크립트에 미선언 의존성(Hidden Dependency)이 있어도 캐시 오염을 막는다: 단순 해시 키 캐시는 BUILD 파일이나 Android.bp에 명시되지 않은 헤더나 설정 파일을 컴파일러가 몰래 읽었을 때 잘못된 캐시 히트(False Cache Hit)를 유발할 위험이 있다. ABFS는 abfsbox와 CASFS의 Tapping 기능으로 액션 실행 중 실제로 일어난 모든 읽기·쓰기·삭제(read_patch / write_patch)를 추적하고, 캐시 적용 전 Phase 2에서 과거 read_patch와 현재 워크스페이스의 해시를 대조해 불일치 시 안전하게 재실행한다.

2. ABFS 전체 아키텍처 도식 및 기존 도구 비교 표

Google ABFS(Another Build File Service) 아키텍처 및 2단계 Tapping 캐시 흐름도: 클라이언트 CASFS 커널 모듈과 Cacheman 데몬이 온디맨드 지연 로드를 수행하고, Ninja-go와 abfsbox가 Phase 1(선언 키 조회) 및 Phase 2(Read-Patch 검증)를 거쳐 서버 측 공유 CAS 백엔드와 빌드 캐시를 동기화하는 구조

전통적인 Git 워크플로 및 대표적 빌드/VFS 도구들과 Google ABFS의 구조적 차이를 정리하면 다음과 같다.

비교 항목
전통적 Git / repo + Classic Ninja
Google ABFS (CASFS + Ninja-go)
아키텍처적 함의 및 실무 영향
파일시스템 마운트 및 체크아웃
Partial Clone / repo sync로 작업 트리 파일 전체를 로컬 디스크에 실체화 (~36분)
CASFS 커널 모듈이 디렉터리·xattr 해시만 노출하고 read() 시 온디맨드 페치 (8초 미만)
대부분의 파일을 읽지 않는 단일 모듈 수정·테스트나 AI 에이전트 분기 작업에서 I/O 낭비 제거
빌드 캐시 신선도 판정 기준
파일 수정 시각(mtime) 및 로컬 .ninja_log / .ninja_deps
콘텐츠 해시(SHA) + 2단계 캐싱 (선언 키 조회 → 실제 read_patch 대조)
CI 파이프라인(Presubmit)과 개발자 PC, 에이전트 샌드박스 간 타임스탬프 무관 100% 캐시 공유
미선언 의존성(Hidden Input) 안전성
누락된 의존성 변경 시 증분 빌드 오염 가능성 존재
CASFS Tapping으로 실제 읽힌 모든 경로를 기록·검증해 미선언 변경 시 캐시 거부
엄격한 Bazel 샌드박싱으로 전부 마이그레이션하지 못한 기존 Soong/Make 계열 빌드에도 안전한 캐시 적용
풀 빌드 소요 시간 (Google AOSP 기준)
약 80분 이상 (초기 빌드 및 브랜치 전환 시 재컴파일 다수 발생)
공유 캐시 히트 시 약 2분대 (캐시된 write_patch 일괄 적용)
수백만 줄 규모 코드베이스에서도 다중 에이전트의 병렬 수정-빌드-검증 루프 가동 가능
라이선스 및 OS 제약
크로스 플랫폼 (Linux / macOS / Windows 지원)
google/abfs: Apache-2.0
google/abfs-casfs: GPL-2.0 (리눅스 커널 전용)
커널 내부 API 의존성으로 인해 지원 대상 리눅스 커널 버전 호환성 확인 필수

3. 핵심 구성 요소 4축 해부: CASFS · Cacheman · Ninja-go · abfsbox

3.1 커널 레벨 지연 마테리얼라이제이션: CASFS와 Cacheman

대규모 저장소에서 체크아웃이 느린 이유는 네트워크 대역폭뿐만 아니라 수백만 개의 inode를 생성하고 실제 콘텐츠 바이트를 스토리지에 기록하는 VFS 쓰기 비용 때문이다. ABFS는 이를 두 계층으로 분리한다.

  • CASFS (google/abfs-casfs): 리눅스 로드 가능 커널 모듈(LKM)로서 파일의 콘텐츠 주소(Git SHA 등)를 확장 속성(xattr)으로 노출한다. 저장소 매니페스트를 마운트할 때는 디렉터리 구조와 메타데이터만 생성하므로 초기 네트워크 블롭 다운로드량이 사실상 0에 수렴한다. 프로세스가 특정 파일을 실제로 열거나 읽는 순간에만 커널이 미적중(miss)을 인지해 유저스페이스 데몬에 블롭 요청을 전달한다.
  • Cacheman (cacheman): 백그라운드 systemd 서비스 및 유저스페이스 캐시 데몬으로 동작하며, 원격 gRPC CAS 서버로부터 필요한 콘텐츠 블롭을 스트리밍해 로컬 디스크 캐시 풀에 보관하고 수명을 관리한다. 동일 머신 위에서 여러 개발자 브랜치나 AI 코딩 에이전트 세션이 동시에 돌아가더라도 불변(Immutable) 콘텐츠 블롭은 로컬 캐시 풀을 공유하고, 변경된 쓰기(Dirty Write)만 Copy-on-Write 방식으로 각 워크스페이스에 격리된다.

3.2 Ninja-go와 abfsbox의 2단계(Two-Phase) Tapping 캐싱 원리

ABFS의 가장 정교한 부분은 Ninja-go와 abfsbox(github.com/google/abfs/cmd/abfsbox, Soong 등의 빌드 생명주기 훅 build-started / build-finished 연동)가 수행하는 2단계 빌드 캐싱(Two-Phase Build Caching)이다.

  1. Phase 1 — 선언 키(Declared Key) 기반 후보 조회: Ninja-go는 각 빌드 스텝의 커맨드라인, 환경변수, 그리고 빌드 파일에 명시된 선언 입력 파일들의 콘텐츠 해시를 조합해 키를 만들고 원격 캐시에서 후보 엔트리 목록을 조회한다.
  1. Tapping — 실제 파일 접근 패치 기록: 캐시 미스가 발생해 빌드 액션을 실제로 실행할 때는 Tapping을 활성화한 상태로 실행한다. 이 과정에서 CASFS는 해당 스텝이 실제로 읽은 모든 파일과 해시(read_patch), 그리고 새로 쓰거나 수정·삭제한 출력 파일 목록(write_patch / deletes)을 수집해 원격 CAS에 함께 저장한다.
  1. Phase 2 — Read-Patch 검증 후 적용 또는 안전 거부: 이후 다른 개발자 PC나 AI 에이전트가 Phase 1에서 후보 캐시 엔트리를 찾더라도 곧바로 적용하지 않는다. 먼저 후보 엔트리의 read_patch에 기록된 모든 파일 경로와 해시가 현재 워크스페이스(CASFS)의 xattr 해시와 정확히 일치하는지 검증한다. 모든 읽기 해시가 일치할 때만 실제 컴파일을 생략하고 write_patch를 즉시 반영한다. 만약 빌드 정의에 선언되지 않았던 숨은 헤더 파일이 변경되었다면 read_patch 불일치로 탐지되어 낡은 캐시를 거부(Reject)하고 안전하게 재빌드를 수행한다.

4. 로컬 Python 검증 스크립트 작성 및 아키텍처 불변량 점검

리눅스 커널 모듈(abfs-casfs)을 직접 로드하지 않는 환경에서도 ABFS의 세 가지 핵심 아키텍처 불변량—① 체크아웃 시 0 bytes 선페치 및 온디맨드 블롭 로드, ② mtime 차이에도 불구하고 동작하는 CI→로컬 캐시 100% 재사용, ③ 미선언 의존성 변경 시 Phase 2 read_patch 검증에 의한 스테일 캐시 차단 및 다중 AI 에이전트 워크스페이스 격리—이 논리적으로 성립하는지 검증하기 위해 로컬 Python 검증 스크립트를 작성했다.

로컬 환경에서 python C:/Users/admin/.gemini/antigravity/scratch/verify_abfs_casfs_cache.py를 실행해 4개 시나리오를 검증한 결과는 다음과 같다.

  • Check 1 (CASFS 지연 마테리얼라이제이션): 1,000개 파일로 구성된 가상 저장소를 체크아웃했을 때 초기 원격 블롭 페치 횟수는 0, 페치 바이트는 0 bytes로 유지되었고, 빌드 실행 시 실제 참조된 src/main.c와 include/hidden_config.h 단 2개 파일만 온디맨드로 페치되었다.
  • Check 2 (CI → 개발자 워크스페이스 크로스 캐시 적중): CI 러너(mtime=1000.0)가 등록한 캐시를 타임스탬프가 전혀 다른 개발자 워크스테이션(mtime=5000.0)에서 동일 명령으로 실행했을 때, 추가 원격 소스 페치 0건으로 즉시 HIT 판정과 동일한 산출물 다이제스트가 검증되었다.
  • Check 3 (Phase 2 Read-Patch에 의한 미선언 의존성 변조 차단): 선언된 입력 파일(src/main.c)은 전혀 건드리지 않고, 빌드 정의에서 누락된 암묵적 헤더(include/hidden_config.h)의 내용만 수정(MAGIC_VAL 42 → 99)한 뒤 재빌드를 요청했다. Phase 1 선언 키는 동일했음에도 Phase 2 read_patch 검증이 해시 불일치를 정확히 잡아내어(MISS_EXECUTED) 스테일 캐시 오염 없이 안전하게 재컴파일을 완료했다.
  • Check 4 (다중 AI 에이전트 병렬 워크스페이스 격리): ai-agent-a와 ai-agent-b가 공유 불변 CAS 캐시 풀 위에서 동시에 체크아웃한 뒤 ai-agent-a만 파일을 수정했을 때, ai-agent-b의 xattr 해시는 원본 커밋 상태를 그대로 유지하며 상호 간섭이 없음을 확인(ALL CHECKS PASSED)했다.

5. 실무 도입 전 반드시 점검해야 할 경계 조건 및 체크리스트

ABFS는 AOSP처럼 수백만 파일과 다중 Git 저장소를 다루는 조직이나 대규모 병렬 AI 코딩 에이전트 인프라에 압도적인 이점을 제공하지만, 범용 프로젝트에 무작정 도입하기 전 다음 4가지 경계 조건을 반드시 점검해야 한다.

  • 1단계 (리눅스 커널 버전 및 호환성 검증): abfs-casfs는 유저스페이스 FUSE가 아닌 리눅스 커널 모듈(GPL-2.0)로 구현되어 커널 내부 VFS API에 밀접하게 의존한다. 사내 CI 러너 및 개발자 워크스테이션(또는 클라우드 VM)의 리눅스 커널 버전이 Google이 검증·지원하는 커널 계열(최신 Ubuntu 등)과 일치하는지 확인했는가? (macOS / Windows 로컬 개발 환경에서는 직접 마운트할 수 없으므로 리눅스 원격 워크스테이션이나 컨테이너 호스트가 필요하다.)
  • 2단계 (워크로드 규모 대비 인프라 비용 손익분기점): ABFS는 클라이언트 커널 모듈 외에도 중앙 CAS 서버, gRPC/Gerrit 업로더, 스토리지 디스크(terraform-google-abfs 참조) 등 서버 측 인프라 구축과 운영이 수반된다. 저장소 규모가 수만 파일 이하이고 풀 빌드가 몇 분 내에 끝나는 소형 레포지토리라면 git clone --filter=blob:none과 표준 원격 빌드 캐시(Bazel RBE/Turborepo 등)만으로 충분하지 않은지 먼저 따져보았는가?
  • 3단계 (빌드 시스템 통합 경계 — Soong/Ninja vs Bazel): 현재 오픈소스 공개판은 Android의 Soong/Ninja-go 및 abfsbox 훅 통합을 중심으로 성숙해 있으며 Bazel 통합 등 범용 확장은 진행 단계다. 자사 빌드 시스템이 Ninja 호환 닌자 파일(.ninja)을 생성하는 구조인지, 혹은 abfsbox 래퍼를 연결할 수 있는 진입점이 있는지 확인했는가?
  • 4단계 (다중 AI 에이전트 샌드박스 격리 정책): 여러 AI 코딩 에이전트가 하나의 호스트에서 Cacheman 로컬 블롭 캐시를 공유할 때, 읽기 전용 불변 CAS 풀과 각 에이전트의 쓰기(CoW) 디렉터리 권한·디스크 할당량(quota)이 적절히 분리되어 한 에이전트의 대량 임시 파일 쓰기가 다른 에이전트나 호스트 디스크를 고갈시키지 않도록 제어했는가?

참고 자료 (References, 2026-11-23 확인)

확인 기준일: November 23, 2026

추천 글