Huny's Dev Blog
huny.dev

같은 원본인데 gzip SHA-256이 달라질 때: 시간·파일명 제거로 재현 가능한 압축 만들기

gzip 헤더의 시간·파일명이 산출물 해시를 바꾸는 과정을 재현하고, Python GzipFile과 GNU gzip -n으로 반복 출력을 고정한다.

Hun Jang
Hun Jang Nov 22, 2026

같은 원본을 gzip으로 압축했는데 SHA-256이 달라진다면 압축 데이터뿐 아니라 헤더의 시간과 원본 파일명을 확인해야 한다. Linux CI에서 재현 가능한 단일 gzip 산출물을 만들려면 GNU gzip은 -n을 사용하고, Python은 GzipFile(filename="", mtime=0, ...)처럼 메타데이터를 명시한다. 아래 예제로 메타데이터만 바꾼 경우와 고정한 경우를 비교하고 검증 범위를 구분한다.

같은 데이터가 든 두 압축 컨테이너에서 가변 메타데이터 표식을 떼어 내는 모습을 표현한 AI 생성 개념 일러스트다. 정확한 gzip 구조도는 아니다.

작성·문서 확인일은 2026-11-22다. 실제 검증 환경은 Linux x86_64, Python 3.12.14, zlib 런타임 1.3.2, GNU gzip 1.13이다. 문서는 Python 3.12 계열 문서와 GNU gzip 매뉴얼을 참고했으며, 문서에 표시된 최신 패치 버전과 실행한 버전을 혼동하지 않는다.

원본의 동일성과 배포 파일의 동일성은 다르다

CI에서 생성한 파일의 내용이 그대로여도 압축 파일이 바뀌면 산출물 해시를 키로 삼는 캐시나 변경 감지에서 다른 파일로 취급할 수 있다. 먼저 무엇을 비교하는지 정한다.

비교 대상
확인하려는 것
이 글의 확인 방법
압축을 푼 바이트
원본 내용이 같은가
원본과 직접 바이트 비교
gzip 전체 바이트
배포 산출물이 같은가
전체 바이트와 SHA-256 비교
gzip 헤더
내용 외의 정보가 변했는가
MTIME과 FNAME 플래그 확인

gzip 멤버에는 압축 블록 외에도 MTIME, OS, 선택적인 파일명 등의 헤더 정보가 있다. MTIME 0은 타임스탬프 정보를 제공하지 않음을 뜻한다. 따라서 원본이 같다는 사실만으로 gzip 전체 바이트가 같아지지는 않는다. RFC 1952의 멤버 형식

Python에서 시간과 파일명을 하나씩 바꿔 본다

다음 코드를 gzip_repro.py로 저장하고 python3 gzip_repro.py로 실행한다. 임의의 두 시각 1과 2를 명시해 대기 시간 없이 시간 필드의 영향만 재현한다. 사용자 파일은 읽거나 바꾸지 않는다.

실제로 얻은 출력은 다음과 같다.

a와 b는 시간만, a와 c는 파일명만 다르다. 두 경우 모두 압축 파일 바이트와 SHA-256이 다르다는 assertion을 통과했고, 다섯 결과 모두 같은 원본으로 복원됐다. fixed1과 fixed2는 헤더 시간을 0으로 지정하고 파일명을 제외해 같은 환경에서 동일하게 나왔다.

Python에서 fileobj를 지정했을 때 filename은 헤더에 넣을 원본 이름을 결정한다. 빈 문자열을 명시하면 파일 객체의 이름에 기대지 않는다. mtime도 생략하지 않고 고정한다. with 블록 밖에서 결과를 읽어 스트림 종료 시 기록되는 데이터까지 포함한다. GzipFile 생성자 문서

이 예제의 헤더 검사는 직접 만든 gzip 멤버의 MTIME과 FNAME만 확인한다. 임의의 파일을 해석하는 완전한 gzip 파서가 아니다.

GNU gzip에서는 -n으로 메타데이터를 제외한다

일반 파일을 압축하는 GNU gzip은 기본적으로 원본 이름과 수정 시간을 보관한다. -n은 이 정보를 저장하지 않도록 지정하고, -c는 원본을 유지한 채 표준 출력으로 쓴다. 여기서는 압축 수준도 -6으로 고정한다. GNU gzip 옵션 설명

다음은 별도 임시 디렉터리 안에서만 실행되는 검증이다. 내용이 같고 이름이 다른 두 입력을 압축한 뒤, 압축 결과와 복원한 원본을 각각 비교한다. 마지막에 임시 디렉터리를 제거한다.

실제 출력은 다음과 같다. 두 cmp 명령이 성공해야 마지막 문장이 출력된다.

이 결과는 GNU gzip끼리 비교한 것이다. Python 결과와 GNU gzip 결과가 서로 바이트 단위로 같다고 검증하거나 요구한 것은 아니다.

CI에서 고정할 범위와 남는 예외

파일명과 시간을 제거해도 서로 다른 압축기나 버전이 같은 압축 스트림을 만들어야 하는 것은 아니다. CI에서는 원본 바이트, 압축기·런타임 버전, 압축 수준과 호출 방식을 함께 고정하고 실제 결과를 비교한다. 이 글의 성공 범위는 위 환경에서 같은 방식으로 반복 실행한 결과다.

Python의 gzip.compress()와 GzipFile을 무조건 같은 구현 경로로 취급하지 않는다. Python 3.12 문서에는 gzip.compress(..., mtime=0)이 zlib 경로를 사용하며 OS 헤더 바이트가 달라질 수 있다는 설명이 있다. 여기서는 그 API를 쓰지 않고 GzipFile의 설정을 명시했다. Python 3.12 compress 문서

.tar.gz라면 바깥 gzip만 고쳐도 안쪽 tar의 파일 순서·시간·소유자 정보가 달라질 수 있다. 이 경우 압축 전에 tar 바이트부터 비교해야 한다. Reproducible Builds의 아카이브 메타데이터 안내

배포 전에 동일 입력을 두 번 생성해 압축 파일 전체를 비교하고, 두 파일을 모두 풀어 원본과도 비교한다. 압축 결과가 달라졌다고 즉시 원본이 변했다고 단정하지 않고, 복원이 같다는 이유로 배포 산출물 해시의 차이를 무시하지도 않는다. 이 글에서는 성능·압축률이나 서로 다른 OS·버전 사이의 재현성을 측정하지 않았다.

English version: Why gzip SHA-256 Changes for Identical Content: Reproducible Compression in Python and GNU gzipWhy gzip SHA-256 Changes for Identical Content: Reproducible Compression in Python and GNU gzip

추천 글