Lazarus 모델 가중치 백도어 연구: 해시 확인과 에이전트 권한 점검

모델의 숨은 변경을 점검하는 모습을 표현한 AI 생성 편집 이미지다. 실제 제품 화면이나 보안 검증 결과가 아니다.

Microsoft Research가 2026년 11월 10일 공개한 Lazarus는 모델 가중치를 바꿔 AI 에이전트에 숨은 동작을 심는 연구다. 연구진은 10개 미만의 휴면 뉴런을 수정한 실험에서 평소에는 정상적으로 동작하다 특정 입력이 나타나면 공격자 명령을 내보내는 모델을 보였다. Microsoft가 실제 공격자의 악용을 관측했다는 발표는 아니다. 연구 소개, 보안팀 발표

개발자가 가져갈 질문은 명확하다. “이 모델이 테스트를 통과했는가?”에 더해 “어디서 받은 어떤 파일을 실행하며, 잘못된 명령을 내면 어디까지 실행할 수 있는가?”를 확인해야 한다.

1. 프롬프트 방어만으로 끝나지 않는 이유

이 연구의 전제는 공격자가 모델 체크포인트의 가중치를 수정할 수 있다는 것이다. 단순히 정상 모델에 위험한 문장을 입력하는 경우와 구분해야 한다. 모델 공급 계정·배포 과정·저장소가 침해되면 자체 개발 모델도 문제가 될 수 있으므로, 오픈 웨이트 자체를 위험의 원인으로 단정해서는 안 된다. 연구의 공격 조건과 범위

또한 연구에서 평가를 통과했다는 결과가 모든 모델·평가·공격에 대한 보편적 결론은 아니다. 실무에서는 입력 검사, 모델 파일 검증, 도구 실행 통제를 서로 다른 방어층으로 취급하는 편이 맞다. 이는 연구 결과를 배포 절차에 적용한 판단이다.

2. 모델 이름 대신 승인한 리비전을 기록한다

Hugging Face Hub의 다운로드 함수는 기본적으로 main의 최신 버전을 가져온다. revision에는 브랜치·태그뿐 아니라 커밋 해시를 지정할 수 있고, 커밋을 사용할 때는 축약하지 않은 전체 해시를 요구한다. 공식 다운로드 가이드

따라서 다음과 같은 반입 기록을 제안한다. 특정 공급자에게 종속된 규격이 아니라, 운영팀이 배포물을 다시 식별하기 위한 최소 목록이다.

원 배포자의 모델 저장소와 확인한 게시자

승인한 전체 커밋 해시 또는 변경 불가능한 버전 식별자

실제 반입한 파일 목록과 파일별 SHA-256

파생 모델이면 선언된 기반 모델과 변환·양자화 과정

검토 결과, 승인자, 이 파일을 사용하는 배포 식별자

커밋 고정은 업데이트를 금지한다는 뜻이 아니다. 업데이트마다 새 후보를 검토하고 승인된 식별자를 바꾼다는 뜻이다. 해시나 커밋을 고정해도 출처가 신뢰할 수 없는 파일의 안전성이 생기지는 않는다.

3. 파일 해시는 확인하되, 백도어 검사와 혼동하지 않는다

아래는 이미 받은 파일 하나의 SHA-256을 계산하는 Python 3.11 이상 예시다. 파일을 읽기만 하며 모델을 로드하거나 실행하지 않는다. hashlib.file_digest()는 바이너리 모드로 연 파일을 해시할 수 있다. Python 공식 문서

예를 들어 이 코드를 file_sha256.py로 저장했다면 다음처럼 실행한다.

계산값은 신뢰할 수 있는 경로로 확보한 배포자 기준값 또는 이미 승인해 보관한 매니페스트와 대조한다. 조각 파일로 나뉜 모델은 모든 조각을 확인하고, 구성·토크나이저·어댑터 등 배포에 쓰는 다른 파일도 목록에서 빠뜨리지 않는다. 처음 내려받은 파일의 해시를 그 자리에서 계산해 같은 파일과 비교하는 것은 출처 검증이 아니다.

이 예시는 파일 식별을 돕는 도구일 뿐이다. 악성 파일도 일정한 해시를 가지며, 해시 일치는 기준 파일과 동일하다는 근거이지 모델이 안전하게 행동한다는 증명이 아니다. 위 코드는 공식 API를 이용한 점검 예시이며 특정 모델의 보안 검증을 수행한 결과가 아니다.

4. 파일 검사, 가중치 감사, 실행 권한을 나눈다

Microsoft는 선언된 기반 모델과 체크포인트를 비교하고 이상한 가중치 변화를 조사하라고 권고한다. 직렬화·코드 수준의 악성 요소를 찾는 스캐너는 이 가중치 감사의 대체재가 아니다. 정상적인 파인튜닝이나 양자화도 값을 바꾸므로 단순한 파일 불일치를 바로 공격으로 판정해서는 안 된다. 감사 통과 역시 안전을 보증하지 않는다. 방어 지침

실행 단계에서는 다음을 확인한다. 같은 공식 권고를 팀 점검 질문으로 옮긴 것이다. 실행 범위 제한 권고