AI 크롤러를 막고 있다는 사실, 회사만 모르고 있는 것은 아닌가

AI에게 회사 이름을 물었을 때 아무 답이 돌아오지 않는다면, 원인은 대개 콘텐츠의 품질이 아니라 그 앞 단계에 있다. AI가 사이트에 들어올 수 있는지, 들어와서 정보를 기계적으로 읽을 수 있는지, 그 정보를 인용할 만한 근거로 볼 수 있는지 — 이 관문 중 하나만 닫혀 있어도 콘텐츠가 아무리 좋아도 답변에 오르지 못한다.

다섯 가지 신호가 하나의 경로를 이룬다

고객이 "OO 업종 업체 추천해줘"라고 물으면, AI는 그 답을 만들기 전에 몇 가지를 확인한다. 이 회사의 사이트에 들어갈 수 있는가. 들어가서 회사 정보를 기계적으로 읽을 수 있는가. 무엇을 하는 회사인지 제목과 본문에서 확인할 수 있는가. 그 설명이 한 문단 안에 정리돼 있는가. 더 깊이 확인할 페이지로 이어지는 통로가 있는가. 다섯 질문 모두에 그렇다고 답할 수 있어야 AI의 답변에 이름이 오른다.

가장 많이 걸리는 지점은 첫 번째다

한 B2B 판촉물 제조업체의 홈페이지를 진단하는 과정에서 나온 첫 번째 발견은 robots.txt 한 줄이었다. 그 한 줄이 모든 AI 크롤러의 출입을 막고 있었고, 담당자는 그런 코드가 있는 줄도 모르고 있었다. 웹사이트를 만들 때 쓴 템플릿이나 보안 플러그인이 기본값으로 AI 봇을 차단해 놓은 경우가 많다. 의도적으로 막은 것이 아니라, 막고 있다는 사실 자체를 모르는 상태다. 위에서 인용한 국내 자체조사에서도 크롤러를 막은 사이트 중 상당수가 같은 이유였다.

『SEO는 끝났다』가 제시하는 3-Gate 모델 — 접근, 구조, 근거 — 은 이 다섯 신호를 세 단계로 압축한 틀이다. 접근 관문(robots.txt)을 통과하지 못하면 구조(JSON-LD·제목·설명)와 근거(내부 링크)는 확인할 기회조차 없다. 그래서 실행 순서도 그 순서를 따라야 한다.

0원, 5분 — 가장 먼저 손댈 곳

다섯 관문 중 가장 많은 사이트가 걸려 있는 곳이면서, 동시에 가장 빨리 풀리는 곳이 접근 관문이다. robots.txt 파일을 열어 GPTBot·PerplexityBot·Google-Extended를 막는 줄이 있는지 확인하고, 있다면 지우거나 허용 규칙을 추가하면 된다. 워드프레스 등 범용 CMS라면 플러그인 설정 변경 수준이라 전문 개발자가 아니어도 할 수 있다. 나머지 네 관문(구조화 데이터, 제목·설명 표기, 회사 소개 문단, 내부 링크)은 접근이 열린 다음에야 의미가 생긴다.

우리 사이트의 robots.txt를 마지막으로 열어본 것이 언제인가.