Huny's Dev Blog
huny.dev

Linux flock으로 배치 중복 실행 막기와 잠금 파일 삭제 주의점

flock으로 Linux 배치 작업을 하나만 실행하고, 잠금 파일 삭제가 서로 다른 파일의 동시 잠금으로 이어지는 상황을 Python 프로세스로 재현한다.

Hun Jang
Hun Jang Nov 18, 2026

Linux 배치가 이전 실행을 마치기 전에 다시 시작된다면, 모든 실행이 같은 파일에 flock 배타 잠금을 얻은 뒤 작업하도록 구성한다. 잠금 파일은 고정된 경로에 유지하고 파일이 존재하는지만으로 실행 여부를 판단하지 않는다. Python의 독립 프로세스로 경쟁 시도와 잠금 해제, 잠금 파일 삭제가 만드는 문제를 재현한다.

청록색 프로세스 두 개와 파일에 연결된 주황색 자물쇠를 표현한 일러스트

파일이 있다는 사실과 잠금 상태는 다르다

프로세스가 파일을 만든 뒤 존재 여부만 검사하면, 검사와 생성 사이에 다른 프로세스가 들어올 수 있다. flock은 열린 파일에 잠금을 요청하며, 배타 잠금과 LOCK_NB를 함께 지정하면 이미 다른 프로세스가 잡은 잠금에 대해 기다리지 않고 실패한다. Python의 fcntl.flock으로 같은 동작을 사용할 수 있다. Linux flock(2) · Python fcntl 문서

잠금은 파일을 연 상태와 연결된다. 해당 잠금을 참조하는 파일 디스크립터를 모두 닫으면 해제되며, 경로에 빈 파일이 남아 있어도 다음 실행이 다시 잠금을 얻을 수 있다. 작업이 끝날 때 경로를 삭제할 필요가 없다. Linux flock(2)

고정된 잠금 파일을 사용하기

셸에서는 flock -n /var/lock/my-job.lock /opt/jobs/my-job처럼 명령을 실행할 수 있다. 실제 배치 계정이 잠금 파일을 열 수 있는 디렉터리를 선택하고, 모든 실행에서 같은 경로를 쓴다. 경합 때의 종료 코드를 스케줄러가 실패로 다룰지 건너뛴 실행으로 다룰지도 정한다. 명령의 자식 프로세스가 잠금 파일 디스크립터를 상속하면 잠금 유지 시간이 길어질 수 있으므로, 백그라운드 작업이 있는 배치는 실행 수명을 확인한다. flock 명령 문서

아래 코드를 flock_demo.py로 저장하고 python3 flock_demo.py를 실행한다. 실험용 파일은 임시 디렉터리에 만들며, 각 경쟁 시도는 새 Python 프로세스로 실행한다.

닫기와 삭제의 차이 확인하기

2026년 11월 18일 Linux x86-64에서 Python 3.12.14로 실행했다. 첫 경쟁 시도는 즉시 잠금 실패를 반환했다. 소유자가 파일을 닫은 뒤에는 경로가 그대로 남아 있어도 잠금을 얻었다. 마지막에는 잠금 중인 파일을 삭제하고 같은 경로를 다시 열어, 기존 잠금이 유지되는 동안 새 파일의 잠금을 얻을 수 있는지 확인했다. 두 열린 파일의 inode가 다른 것도 검사했다.

삭제된 파일은 기존 열린 디스크립터가 참조하는 동안 유지된다. 같은 경로에 새로 생성한 파일은 다른 파일이므로, 두 프로세스가 서로 다른 파일에 각각 배타 잠금을 갖게 된다. 이 때문에 실행 중이거나 실행을 기다리는 프로세스가 있는 잠금 파일은 고정된 경로에 유지한다. Linux unlink(2) · Linux flock(2)

배치 환경에서 확인할 범위

flock은 참여하는 프로세스가 같은 잠금 규칙을 따르는 협력적 잠금이다. 잠금 없이 실행하는 경로가 있으면 중복 실행이 가능하다. 별도 컨테이너의 독립 파일시스템에 같은 문자열의 경로를 만들면 같은 파일을 잠그는지 확인해야 한다. NFS·SMB는 클라이언트와 서버, 마운트 옵션에 따라 잠금 의미가 달라질 수 있다. 이 예제는 로컬 임시 파일에서 프로세스 간 경쟁을 검증했다. 실제 스케줄러와 네트워크 파일시스템은 검증 범위 밖이다. Linux flock(2)

English version · Prevent Overlapping Linux Batch Jobs with flockPrevent Overlapping Linux Batch Jobs with flock

추천 글