robots.txt 공통 AI 학습 제어 토큰(__usage_ai-training) 해부: Google-Extended·크롤링·그라운딩과 분리해 설정하기

웹사이트 경로별 규칙이 프로토콜 게이트를 거쳐 생성형 AI 학습, 그라운딩 인용, 일반 검색 색인으로 분리되는 과정을 나타낸 개념 일러스트다. 실제 도구 화면이 아니다.

2026년 10월 30일 Google, OpenAI, Microsoft, Anthropic이 웹사이트의 생성형 AI 학습 선호도를 하나의 공통 토큰(__usage_ai-training)으로 표현하는 robots.txt 방식을 지지한다고 발표했다. 그간 GPTBot, Google-Extended, ClaudeBot 등 기업별 토큰을 각각 추가해야 했던 관리 부담을 줄이려는 시도다.

결론부터 말하면 지금 당장 기존 GPTBot·Google-Extended·ClaudeBot 규칙을 지우고 __usage_ai-training 하나만 남겨서는 안 된다. 이 신호는 아직 정식 표준이 아닌 IETF 개인 초안 단계이며, 실제 반영 시점도 2027년 초로 예고되어 있다. 또한 User-Agent: * 와일드카드가 이 토큰에 적용되지 않으며, 크롤링 자체를 막는 지시자와 생성형 모델 학습 선호도, 검색·그라운딩 노출 제어가 서로 다르게 동작하므로 세 경계를 분리해 설정해야 한다.

이 글은 IETF 초안 문서와 각 사의 공개 발표·크롤러 문서를 바탕으로 프로토콜 동작 원리와 전환 시 주의점을 정리한 가이드다. 실제 검색 엔진 크롤러의 반영 여부를 상용 도메인에서 측정한 결과는 포함하지 않으며, 로컬 Python 검증 코드는 robots.txt 우선순위 해석 로직만 다룬다.

1. 크롤링 차단, 생성형 AI 학습, 그라운딩·검색 노출은 별개다

이번 발표의 기술적 기반은 Anthropic의 Kevin Kelley가 2026년 10월 30일 제출한 IETF 개인 초안(draft-kelley-aipref-training-preference-signal-00)과 IETF AI Preferences(AIPREF) 워킹그룹의 어휘 정의(draft-ietf-aipref-vocab-08)다. 가장 먼저 구분할 점은 User-Agent: __usage_ai-training이 특정 봇의 이름이 아니라 콘텐츠 사용 목적(Policy Token)을 가리킨다는 사실이다.

구분 항목	공통 학습 선호도 (`__usage_ai-training`)	개별 크롤러·정책 토큰 (`Google-Extended`, `GPTBot` 등)	검색 및 AI 답변 그라운딩 제어
정의와 목적	생성형 AI 모델의 학습 파라미터를 변경하는 용도(AI Training)에 대한 사이트 운영자의 선호도 표현	특정 기업의 크롤러 수집 차단(`GPTBot`, `ClaudeBot`) 또는 기업별 AI 학습·그라운딩 제어(`Google-Extended`)	전통적 웹 검색 색인(`Googlebot`, `noindex`) 및 AI 요약·답변 인용(Search Console 생성형 AI 설정, Bing `ai-grounding`) 제어
크롤링 차단 여부	크롤링 행동 지시자가 아님. 단, 학습 목적으로만 수집하는 주체는 수집을 생략할 수 있음	`GPTBot`·`ClaudeBot`은 수집 자체를 제어. `Google-Extended`는 별도 HTTP User-Agent가 없는 정책 토큰	`Googlebot` 차단 시 일반 검색과 AI 기능 모두에서 제외될 수 있으므로 학습 제어용으로 사용 금지
`User-Agent: *` 적용	적용되지 않음(MUST NOT match). 와일드카드 그룹은 학습 거부 의사 표시로 해석되지 않음	일반 크롤러는 명시가 없으면 `*` 규칙을 따르나, 정책 토큰은 별도 명시가 안전함	`User-Agent: *`에 `Disallow: /`를 넣으면 검색 엔진 색인 자체가 차단됨
적용 범위 한계	분류(Classification)·랭킹·점수화 전용 비생성형 모델 학습에는 적용되지 않음	각 기업 문서가 정의한 제품군(예: Gemini Apps, Vertex AI Gemini API 등)에 한정됨	학습 거부와 답변 인용(Grounding) 여부는 공급자마다 결합·분리 방식이 다름

초안 문서 Section 3과 4는 다음 세 가지 원칙을 명확히 못 박고 있다.

생성형 모델 파라미터 학습만 대상이다: AIPREF 어휘 정의에서 AI 학습은 “자산을 사용해 생성형 AI 모델의 학습된 파라미터를 수정하는 것”이다. 스팸 필터링, 검색 랭킹, 단순 분류나 스코어링 전용 모델의 학습은 대상에서 제외된다.

와일드카드(*)는 무시된다: User-Agent: * 그룹에 Disallow: /가 있더라도 __usage_ai-training에는 매칭되지 않는다. 파일 내에 __usage_ai-training 그룹이 아예 없다면 학습에 대해 아무런 선호도도 표명하지 않은 것으로 간주한다.

기존 RFC 9309 문법과 최장 일치 규칙을 그대로 쓴다: 새로운 문법이나 별도 설정 파일을 도입하지 않고 기존 RFC 9309(Robots Exclusion Protocol)의 경로 매칭과 최장 일치(Longest-match) 우선순위를 그대로 따른다. 따라서 이 토큰을 모르는 기존 파서는 미지의 User-Agent 그룹처럼 안전하게 무시한다.

2. 발표 시점과 실제 적용 시점을 혼동하지 않는다

네 기업이 같은 날 지지 의사를 밝혔지만, 각 사의 파서가 실제로 이 토큰을 읽고 반영하는 시점과 세부 우선순위는 서로 다르다. Google Search Central 공식 발표와 Google 공통 크롤러 문서, Microsoft Bing 공식 블로그를 교차 확인한 일정과 동작 방식은 다음과 같다.

기업	예고된 반영 시점	기존 제어 수단과의 관계 및 우선순위	검색 및 그라운딩(Grounding) 영향
Google	2027년 초 목표 (2027년 중 지원 예정)	`Google-Extended` 유지. 사이트가 `__usage_ai-training`으로 학습을 거부하고 `Google-Extended`를 별도 명시하지 않으면 `Google-Extended`도 거부한 것으로 해석함. 두 토큰을 함께 쓰면 구체적인 `Google-Extended` 규칙이 우선함	`Google-Extended`는 Google 검색 포함 여부나 순위에 영향을 주지 않음. 단, Gemini Apps의 그라운딩 인용 자격을 유지하려면 `Google-Extended`를 명시적으로 `Allow`해야 함. Search AI Overviews·AI Mode 노출은 Search Console의 ‘Search generative AI’ 설정으로 별도 관리함
Microsoft (Bing)	2027년 2월 1일부터 크롤링 시 반영 (기존 `NoArchive`·`NoCache` 전환 마감은 2027년 3월 1일)	2027년 3월 1일 이후 학습 제어에서 기존 `NoArchive`·`NoCache` 지원을 중단하고 새 선호도로 대체함. 페이지 단위 설정이 `robots.txt` 설정보다 우선함	학습(AI Training)과 그라운딩(AI Grounding)을 독립 설정으로 분리함. 그라운딩은 페이지 단위로 `Allow`(기본값), `DisallowExtended`(Copilot·Bing·M365만 허용하고 제3자 API·Web IQ 제외), `Disallow` 중 선택 가능하며 일반 Bing 검색 순위에는 영향 없음
OpenAI	향후 수개월 내(in the coming months) 지원 예정	기존 `GPTBot` 규칙과 병행 지원. 공통 토큰으로 학습 선호도를 일괄 지정할 수 있도록 구현 중	검색용 크롤러와 학습용 제어를 구분해 운영하므로, 발표 전까지는 기존 `GPTBot` 설정을 그대로 유지해야 함
Anthropic	초안 작성 주체로 구현 착수 발표 (구체적 완료일 미정)	기존 크롤러 제어(`ClaudeBot` 등)를 대체하는 것이 아니라 보완(Complement)하는 수단으로 설명함	크롤링 트래픽 자체를 막으려면 여전히 크롤러 이름 기준의 규칙이 필요함

특히 Google과 Microsoft의 세부 규칙에는 실무자가 놓치기 쉬운 차이가 있다.

Google의 암묵적 폴백과 Gemini 그라운딩 결합: Google은 사이트가 __usage_ai-training을 Disallow로 설정하면서 Google-Extended를 따로 적지 않으면, 이를 Google-Extended 거부로 해석할 계획이다. 문제는 Google-Extended가 Gemini 모델 학습뿐 아니라 Gemini Apps 답변의 그라운딩(인용 및 클릭 유입)과 Vertex AI의 Google Search 그라운딩까지 함께 제어한다는 점이다. 따라서 생성형 모델 학습은 막되 Gemini Apps 답변 인용에는 남고 싶다면, 두 토큰의 관계를 이해하고 명시적으로 분리해야 한다.

Microsoft의 NoArchive·NoCache 폐지와 마감 기한: 기존에 Bing에서 AI 학습 및 그라운딩을 막기 위해 NoArchive나 NoCache 태그를 쓰던 사이트는 2027년 3월 1일까지 새 방식으로 전환해야 한다. 특히 그라운딩 제한을 유지하려면 개별 페이지에 AI Grounding 설정을 배포하고, 재크롤링 전 공백을 막기 위해 Bing Webmaster Tools에 임시 설정(2027년 9월 30일 만료)을 함께 등록해야 한다.

3. 시나리오별 `robots.txt` 설정 패턴

이행기(2026년 11월~2027년 상반기)에는 기존 크롤러별 규칙을 유지하면서 __usage_ai-training 그룹을 추가하는 병행 구성이 안전하다. 아래는 운영 목적에 따른 세 가지 구성 예시다.

패턴 A: 전체 생성형 AI 학습은 거부하되 보도자료(`/press-kit/`)만 학습 허용

IETF 초안 Figure 1에 제시된 기본 구조에 현행 크롤러 규칙을 결합한 형태다. RFC 9309의 최장 일치 규칙에 따라 /press-kit/ 하위 경로는 /보다 길이가 길어 Allow가 이긴다.

패턴 B: 일반 모델 학습은 거부하되 Google Gemini 그라운딩 노출은 허용

초안 Section 4.5(구체적 규칙 우선)와 Google의 발표에 따라, __usage_ai-training으로 기본 학습 거부 의사를 밝히면서 Google-Extended를 별도 그룹으로 명시해 오버라이드하는 구성이다.

4. 로컬 Python 코드로 검증하는 우선순위와 오설정 탐지

robots.txt를 수정할 때 가장 흔히 발생하는 실수는 ① User-Agent: *가 __usage_ai-training까지 막아준다고 착각하는 것, ② 경로 예외(Allow: /press-kit/)의 길이 우선순위를 잘못 계산하는 것, ③ Google-Extended 명시 여부에 따른 2027년 Google의 폴백 해석을 놓치는 것이다.

다음 Python 스크립트는 외부 의존성 없이 robots.txt 텍스트를 파싱해 IETF 초안 Section 4.2·4.5와 Google의 폴백 규칙에 따라 경로별 최종 판정을 계산한다.

직접 실행해 확인한 범위

위 함수를 사용해 세 가지 대표적인 설정 시나리오를 로컬 Python 환경에서 검증했다.

와일드카드 단독 설정(User-Agent: * + Disallow: /): /blog/post 조회 시 shared_training_pref는 disallow가 아니라 no_preference를 반환한다. 즉, 검색 엔진 크롤러는 모두 막히면서 정작 새 프로토콜 기준의 학습 거부 의사 표시는 되지 않는 최악의 오설정임을 확인할 수 있다.

전체 거부 후 /press-kit/ 예외 허용: /articles/a는 disallow, /press-kit/logo.png는 allow로 판정되며, Google-Extended 미지정 시 2027년 기준 effective_google_extended_2027 역시 동일하게 따라간다.

공통 토큰 거부 + Google-Extended 명시적 허용: /docs/api에 대해 shared_training_pref는 disallow를 유지하면서 effective_google_extended_2027은 allow로 오버라이드된다.

이 코드는 단순 접두어 기반 경로와 그룹 우선순위를 점검하기 위한 예시이며, 실제 운영 환경에서는 와일드카드 패턴(*, $)이나 CDN 캐시 만료 주기도 함께 고려해야 한다.

5. 실무 도입 전 점검 체크리스트

기존 봇 규칙 유지: 2027년 각 기업의 파서 반영이 공식 완료될 때까지 GPTBot, ClaudeBot, Google-Extended 규칙을 삭제하지 않고 __usage_ai-training과 함께 유지한다.

목적별 제어 수단 분리:

생성형 모델 학습 선호도: robots.txt의 __usage_ai-training 및 개별 학습 토큰 사용

Google 검색 AI 기능(AI Overviews, AI Mode) 노출 제어: Google Search Console의 ‘Search generative AI’ 설정 사용

Bing/Copilot 그라운딩 제어: 2027년 3월 1일 전까지 페이지 단위 ai-grounding(Allow, DisallowExtended, Disallow) 및 Bing Webmaster Tools 임시 설정 확인

검색 색인 자체 제외: 페이지별 noindex 메타 태그 또는 HTTP 헤더 사용 (Googlebot 전체 차단 지양)

IETF 초안 변경 추적: draft-kelley-aipref-training-preference-signal-00의 만료일은 2027년 5월 3일이다. 워킹그룹 논의 과정에서 세부 규격이 개정될 수 있으므로 2027년 초 Google·Microsoft·OpenAI의 실제 적용 공지를 다시 확인한다.