OpenAI가 robots.txt 공통 토큰 하나로 여러 AI 회사에 학습 거부 의사를 전하는 방식을 따르기로 했습니다 | DAKER 커뮤니티

OpenAI가 웹사이트 운영자가 robots.txt에 한 번만 적으면 여러 AI 회사에 학습 거부 의사를 함께 전할 수 있는 공통 신호를 따르겠다고 2026년 10월 30일(미국 기준) 발표했습니다. 지금까지는 GPTBot, Google-Extended처럼 회사마다 다른 이름을 찾아 규칙을 따로 써야 했습니다. 새 방식은 __usage_ai-training이라는 공통 토큰 하나로 이 일을 줄입니다. 같은 날 구글도 같은 신호를 지원하겠다고 밝혔고, 규격 초안은 Anthropic 소속 엔지니어가 IETF에 제출했습니다. 블로그, 기술 문서, 대회 자료를 공개하는 국내 사이트 운영자라면 robots.txt를 다시 볼 이유가 생겼습니다.

서버실 옆 책상에서 웹사이트 운영자가 설정 파일을 검토하는 실사풍 장면 모션 미리보기
설명을 돕기 위해 만든 생성 이미지입니다.
서버실 옆 책상에서 웹사이트 운영자가 설정 파일을 검토하는 실사풍 장면
설명을 돕기 위해 만든 생성 이미지입니다.

공통 신호는 이렇게 씁니다

IETF에 올라온 초안 draft-kelley-aipref-training-preference-signal-00은 기존 robots.txt 문법을 그대로 씁니다. User-Agent 줄에 크롤러 이름 대신 정책 토큰을 적는 방식입니다. 초안의 예시는 다음과 같습니다.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

이 묶음은 사이트 전체에 대해 AI 학습에 반대하되 /press-kit/ 아래 경로는 학습에 찬성한다는 뜻입니다. 경로 매칭과 가장 긴 규칙 우선 원칙은 RFC 9309를 그대로 따릅니다. 초안이 말하는 AI 학습은 생성형 AI 모델의 학습된 파라미터를 바꾸는 데 쓰는 것을 뜻하고, 분류·순위·점수 매기기 전용 모델은 여기에 들어가지 않습니다.

와일드카드 규칙은 학습 거부로 읽히지 않습니다

실무에서 가장 중요한 조항은 이것입니다. 초안은 User-Agent: * 묶음을 정책 토큰과 일치하는 것으로 해석하면 안 된다고 못박았습니다. 파일 안에 __usage_ai-training 줄이 없으면 학습에 대한 의사는 표현되지 않은 것으로 봅니다. 모든 봇을 막아 둔 사이트라도 이 토큰을 따로 적지 않으면 공통 신호로는 아무 말도 하지 않은 셈입니다. 또 이 토큰은 크롤링 지시가 아니라 사용 목적에 대한 의사 표시라서, 수집 자체를 막고 싶다면 기존처럼 크롤러 이름별 규칙을 써야 합니다.

OpenAI와 구글이 밝힌 일정과 처리 방식

OpenAI는 앞으로 몇 달 안에 이 신호를 구현하고, 구현할 때 세부 내용을 다시 알리겠다고 했습니다. 새 신호가 기존 robots.txt 제어를 대신하지는 않으며 GPTBot과 OAI-SearchBot 설정도 계속 존중한다고 밝혔습니다. OpenAI 크롤러 문서에 따르면 GPTBot을 막으면 학습 제외, OAI-SearchBot을 허용하면 ChatGPT 검색 노출이 유지되는 식으로 두 설정은 서로 독립입니다. 구글은 2027년 지원을 목표로 하며, 사이트가 공통 토큰으로 학습을 거부하고 Google-Extended를 따로 적지 않았다면 Google-Extended를 막은 것으로 해석하겠다고 했습니다. Google-Extended를 명시적으로 허용한 사이트는 Gemini 앱의 그라운딩 답변에 나타날 수 있다고 덧붙였습니다.

국내 사이트 운영자가 지금 할 일

첫째, 현재 robots.txt에 GPTBot, Google-Extended 같은 회사별 규칙이 있는지 확인합니다. 둘째, 학습은 막되 AI 검색 노출은 원한다면 공통 토큰과 회사별 검색 봇 규칙을 따로 관리해야 합니다. 셋째, 이 초안은 IETF가 승인한 표준이 아니라 개인 제출 문서이고 2027년 5월 3일에 만료되므로, 이후 개정 여부를 지켜봐야 합니다. 여러분의 사이트는 지금 AI 학습과 AI 검색을 어떻게 구분해 두고 계십니까?

출처