공통 robots.txt AI 학습 신호 발표: 검색 노출과 학습 거부를 분리하는 법

검색을 위한 발견과 AI 학습 선호를 별도 경로로 표현한 생성형 개념 이미지다. 실제 제품 화면이나 접근 차단을 보장하는 구조도가 아니다.

검색에는 노출되되 AI 학습에는 쓰이지 않기를 원할 때, 모든 봇을 한꺼번에 막으면 원하는 결과와 멀어질 수 있다. 먼저 검색·학습·사용자 요청에 의한 접근을 구분해야 한다. 새 공통 신호가 발표됐지만, 지금 기존 설정을 지워도 된다는 뜻은 아니다.

OpenAI와 Google은 2026년 10월 30일 robots.txt에 공통 AI 학습 선호 신호를 도입하겠다는 계획을 발표했다. 11월 3일 한국 시간 기준으로 확인한 문서에서 OpenAI는 향후 수개월 내 구현을, Google은 2027년 지원을 목표로 한다. 두 회사의 발표는 즉시 적용 완료 공지가 아니다. OpenAI 발표 · Google 발표

1. 무엇이 공통으로 바뀌는가

지금까지 사이트 운영자는 제공자별 토큰을 관리해야 했다. 새 제안은 여러 참여 업체에 학습 선호를 한 번에 표현할 수 있는 공통 정책 토큰을 추가한다. 기존 업체별 설정을 폐기하는 방식은 아니다.

발표가 연결하는 문서는 draft-kelley-aipref-training-preference-signal-00이다. 확정 RFC가 아니라 Internet-Draft다. 제안된 토큰은 __usage_ai-training이며, 콘텐츠 사용 선호와 크롤링 허용 규칙을 독립적으로 다룬다. 초안 §4

따라서 “AI를 막는다”는 한 문장보다 다음 세 가지를 따로 결정하는 편이 정확하다.

• 검색 결과에서 내 페이지를 발견할 수 있게 할 것인가.

• 콘텐츠를 생성형 AI 모델의 학습에 사용하는 것을 원하지 않는가.

• 인증이 필요한 자료에 실제 HTTP 접근을 허용할 것인가.

세 번째는 robots.txt만으로 해결할 수 없다.

2. 새 토큰은 이렇게 생겼지만, 지원 완료로 해석하지 않는다

아래는 초안의 토큰과 규칙을 조합한 학습 선호 표현 예시다. 현재 모든 제공자가 이를 적용한다는 뜻이 아니며, 기존 robots.txt를 통째로 교체하는 파일도 아니다.

초안에서 User-agent: * 그룹은 이 정책 토큰에 대한 선호로 해석하지 않는다. “별표 그룹이 있으니 공통 학습 선호도 이미 전달됐다”고 가정하면 안 된다.

또한 정책 토큰은 실제 요청의 User-Agent 헤더에 나타날 필요가 없다. 서버 로그에서 이 문자열을 찾지 못했다고 해서 곧바로 미지원이라고 판단할 수 없는 이유다. 초안 §2·§4.2

운영 제안은 단순하다. 적용 여부를 판단할 때는 파일 문법뿐 아니라 해당 제공자의 구현 공지와 현재 문서를 함께 확인한다. 초안 버전과 검토 날짜도 변경 이력에 남긴다.

3. 지금은 검색 봇과 학습 봇을 분리해 점검한다

OpenAI의 현재 문서는 OAI-SearchBot과 GPTBot 설정을 독립적으로 설명한다. 전자는 ChatGPT 검색, 후자는 생성형 기반 모델 학습에 사용될 수 있는 콘텐츠의 크롤링에 관련된다. 크롤러 공식 문서

예를 들어 OpenAI 검색 접근은 허용하고 학습용 크롤링은 거부하려는 정책이라면, 다음을 검토할 수 있다.

이 예시는 OpenAI의 두 용도를 분리한 것이다. 다른 회사까지 포함한 일괄 거부가 아니며, 기존 민감 경로 규칙을 고려하지 않은 완성 설정도 아니다. 실제 파일에 넣기 전에는 기존 그룹과 경로 정책을 함께 검토해야 한다.

ChatGPT-User는 사용자가 요청한 방문에 쓰이며, OpenAI는 이런 요청에 robots.txt 규칙이 적용되지 않을 수 있다고 설명한다. 검색 노출 설정과 같은 것으로 취급하지 않는다. 사용자 요청과 자동 크롤링의 구분

Google도 업체별 예외를 따로 다룬다. 새 공통 신호로 학습을 거부하고 Google-Extended를 명시하지 않은 경우, 이를 Google-Extended 거부처럼 해석할 계획이다. 반대로 Google-Extended를 명시적으로 허용한 사이트의 Gemini Apps grounding 노출 가능성도 설명한다. 공통 신호와 업체별 예외가 충돌할 때의 의미를 먼저 확인해야 한다. Google의 지원 계획과 예외

4. 배포 후에는 무엇을 검증할까

다음은 독자가 자신의 사이트에서 실행할 점검 명령이다. 이 글 작성 과정에서 특정 운영 사이트의 파일을 바꾸거나 크롤러 반영 시간을 측정하지 않았다.

주소는 실제 관리하는 사이트로 바꾼다. 확인할 항목은 다음과 같다.

1. 응답 본문이 로그인 화면이나 오류 HTML이 아니라 의도한 robots.txt인지 확인한다.

2. 배포 전후 파일을 비교해 기존 검색 봇·경로 규칙이 사라지지 않았는지 본다.

3. CDN 캐시와 원본 서버의 파일이 다르지 않은지 확인한다.

4. 검색용 봇을 허용해도 WAF가 요청을 막고 있지는 않은지 별도로 확인한다.

5. 크롤러 로그와 검색 반영 상태는 시간을 두고 관찰한다. 파일 저장 성공을 제공자의 정책 적용 완료로 기록하지 않는다.

OpenAI는 검색 관련 robots.txt 변경 반영에 약 24시간이 걸릴 수 있다고 안내한다. 이것을 모든 제공자나 학습 선호 신호의 공통 반영 시간으로 일반화하지 않는다. 반영 지연 안내

5. robots.txt는 잠금장치가 아니다

RFC 9309는 Robots Exclusion Protocol이 콘텐츠 보안을 대체하지 않는다고 명시한다. 파일에 경로를 적는 행위 자체가 그 경로를 공개하기도 한다. 비공개 자료는 인증과 인가로 보호해야 한다. RFC 9309 §3

공통 토큰 역시 사용 선호를 표현하는 제안이다. 파일을 추가했다는 사실만으로 과거 학습 데이터 삭제나 모델에서의 정보 제거가 완료됐다고 결론 내릴 근거는 없다. 이는 이번 발표와 초안이 제공하는 기능 범위를 넘는 주장이다.

이번 변화의 핵심은 업체별 학습 선호 관리가 공통 신호로 단순해질 가능성이다. 실무에서는 지원 계획과 실제 적용, 검색 노출과 학습 선호, 선호 표현과 접근 통제를 나누어 관리하는 것이 먼저다.

이 글의 사실 설명은 공식 발표·문서·초안을 기준으로 했다. 설정과 명령은 검토용 예시이며, 크롤러의 실제 준수 여부나 검색 유입 효과를 실험한 결과는 아니다.