"내가 밤새 쓴 상세페이지 문구, AI가 공짜로 배워 가는 거 아니야?"
자사몰 하시는 분들 사이에서 요즘 자주 나오는 말이죠. 그래서 robots.txt(쉽게 말하면, 우리 몰에 들어오는 로봇에게 붙여 두는 출입 안내문)에서 AI 학습 봇을 몽땅 막는 몰도 늘었고요.
그런데 몽땅 막으면 같이 닫히는 문이 하나 있어요. 손님이 챗GPT에 "건성 피부용 수분크림, 3만 원대로 추천해 줘"라고 물었을 때 우리 몰이 답변에 뜨는 문이요.
지난 #96에서 미나킴 기자가 '네이버가 막은 AI 손님, 자사몰은 문을 직접 고릅니다'를 썼죠. 그 뒤로 새 일이 생겼습니다. 오픈AI·구글·마이크로소프트·앤스로픽이 robots.txt에 적는 공용 'AI 학습 거부' 신호를 따르겠다고 나란히 발표한 거예요.
네 AI 회사가 함께 읽겠다는 학습 거부 줄
지금까진 학습을 거부하려면 회사마다 봇 이름을 따로 적어야 했어요. 오픈AI는 GPTBot, 구글은 Google-Extended, 앤스로픽은 ClaudeBot, 이런 식으로요.
이번 신호는 이름 하나로 끝납니다. 앤스로픽의 케빈 켈리가 인터넷 표준 기구 IETF에 낸 초안에 적힌 모양은 이렇습니다.
```
User-Agent: __usage_ai-training
Disallow: /
```
앞에 붙은 밑줄 두 개는 오타가 아니에요. 다른 봇 이름과 우연히 겹치지 않게 일부러 붙였다고 초안에 적혀 있거든요. 사람 눈엔 오타 같아도, 로봇 눈엔 아주 또렷한 명찰인 셈이죠.
구글은 이 제안을 두고 여러 AI 회사에 학습 선호를 한 번에 알리는 방법이라고 설명했어요. 다만 시점은 제각각입니다. 앤스로픽은 이미 지원을 시작했고, 오픈AI는 "앞으로 몇 달 안에", 구글은 2027년 안에, 마이크로소프트는 2027년 2월 1일부터 반영한다고 했죠. 아직 정식 표준이 아닌 초안이라는 점도 함께 알아 두면 좋아요.
학습 줄과 챗GPT 답변 줄의 차이
이번 공용 신호가 다루는 건 딱 '학습'이에요. 초안에도 이 줄은 로봇이 페이지를 읽어 가는 것 자체를 막는 지시가 아니라고 적혀 있습니다.
오픈AI는 원래부터 봇을 둘로 나눠 뒀어요. GPTBot은 모델 학습용이고, OAI-SearchBot은 챗GPT 검색 답변용이죠. 오픈AI 크롤러 문서에는 OAI-SearchBot을 막은 사이트는 챗GPT 검색 답변에 나오지 않는다고 적혀 있어요. 두 설정은 서로 따로 움직여서, 학습만 막고 검색은 열어 둘 수 있다는 안내도 함께 있고요.
마이크로소프트는 이번에 선택지를 아예 'AI 학습'과 'AI 그라운딩'으로 쪼갰어요. 그라운딩은 AI가 답변을 만들 때 내 페이지를 근거로 꺼내 쓰는 걸 말합니다. 빙의 크리슈나 마다반 프로덕트 매니저는 답변 쪽까지 막으면 AI 화면에서 보이는 정도가 줄어들 수 있다고 짚었습니다.
구글은 조금 더 살펴볼 게 있어요. 공용 줄로 학습을 거부하면 구글은 이걸 Google-Extended를 막은 것으로 읽겠다고 했는데요. 같은 글에서 Google-Extended를 허용한 사이트가 제미나이 앱 답변에 뜨고 클릭을 받을 수 있다고 적었습니다. 구글 검색 노출이나 순위와는 상관없다는 게 구글 설명이고요.
그러니까 '다 막는 한 줄'은 학습만이 아니라 답변 자리까지 건드릴 수 있죠. 손님이 AI에게 묻고 사는 흐름에서 그 자리는 광고비 0원짜리 진열대거든요. 이 자리를 왜 지켜야 하는지는 AI 첫 추천을 받는 GEO 기본기에 정리돼 있습니다.
G마켓·11번가 robots.txt 속 같은 선택
말로 들으면 복잡한데, 국내 큰 몰들은 이미 이렇게 쓰고 있더라고요. 몇 곳의 robots.txt를 직접 열어 봤어요.
G마켓은 GPTBot·ClaudeBot·Google-Extended 같은 학습용 봇을 줄줄이 막아 뒀어요. 그런데 OAI-SearchBot은 막는 목록에 없습니다. 맨 위 기본 규칙이 '모두 허용'이라, 챗GPT 검색 봇은 그대로 들어올 수 있죠.
파일 위쪽엔 '검색은 예, AI 학습은 아니요'라는 표시(search=yes, ai-train=no)까지 달려 있어요.
11번가는 반대 방향에서 같은 결론에 닿았습니다. 기본은 전부 막고, 허용 목록에 OAI-SearchBot·ChatGPT-User·Claude-SearchBot을 올려 뒀거든요. GPTBot은 그 목록에 없으니 막힌 채로 남고요.
스마트스토어는 달라요. GPTBot도, OAI-SearchBot도, 앤스로픽의 학습·검색 봇도 모두 막혀 있습니다. 이 파일은 네이버가 관리해서 스마트스토어 셀러가 직접 고칠 수는 없어요.
그래서 학습과 답변을 따로 고르는 선택은 자사몰에서만 할 수 있어요.
카페24 고급 설정의 GPTBot 두 줄
카페24는 쇼핑몰 설정 > 기본 설정 > 쇼핑몰 정보 > 검색 엔진 최적화(SEO) 맨 아래 '고급 설정'에서 robots.txt를 직접 고칠 수 있어요. 기본값은 관리자·API 경로만 막혀 있어서, 지금은 학습 봇도 검색 봇도 다 들어오는 상태입니다.
오픈AI의 학습만 끄고 챗GPT 답변은 남기려면, 기존 내용 아래에 두 줄만 보태면 충분합니다.
```
User-agent: GPTBot
Disallow: /
```
OAI-SearchBot 줄은 따로 안 써도 돼요. 이름이 적혀 있지 않으면 맨 위 기본 규칙을 따라 그대로 들어오거든요. 오픈AI는 robots.txt를 바꾸고 검색 쪽에 반영되기까지 24시간쯤 걸린다고 했어요.
공용 줄(__usage_ai-training)은 지금 넣어도 앤스로픽부터 읽습니다. 다만 앞에서 본 것처럼 구글은 이 줄을 제미나이 학습 거부로 읽고, 그러면 제미나이 앱 답변 노출도 함께 걸려요. 제미나이 쪽 손님이 중요하다면 이 줄은 구글이 2027년에 지원을 시작하기 전까지 천천히 정해도 늦지 않아요.
아임웹은 환경 설정 > SEO 설정에 'AI 검색 허용' 스위치가 있어요. 도움말엔 이 스위치가 학습과 답변을 따로 나누는지까지는 안 나와 있어서, 끄기 전에 고객센터에 한 번 물어보는 게 마음 편합니다.
물론 robots.txt는 자물쇠가 아니라 약속이에요. 지키는 회사만 지키고, 이미 학습에 쓰인 글을 되돌려 주지도 않죠. 손님이 챗GPT에 직접 링크를 주고 읽어 달라고 하는 경우(ChatGPT-User)는 이 규칙이 적용되지 않을 수 있다는 것도 오픈AI가 밝혀 둔 내용이고요.
앞으로 몇 달 동안 볼 건 하나예요. 오픈AI가 공용 줄을 실제로 언제부터 읽는지. 그날이 오기 전까지는 GPTBot 두 줄이 그 일을 대신해 줍니다. 오늘은 주소창에 우리 몰 주소를 치고 뒤에 /robots.txt만 붙여서, GPTBot이라는 이름이 적혀 있는지부터 들여다보세요!
— 우리 몰 robots.txt를 열었다가 Disallow 철자부터 세 번 맞춰 본 다혜