안녕하세요, BQ개발자입니다.
요즘 "AI 때문에 트래픽이 줄었다"는 얘기가 많이 나오는데요. 근데 왜 줄었냐고 물어보면 "AI가 요약해줘서"라는 답이 대부분이에요.
맞는 말이긴 한데, 이게 사실 표면만 본 거라고 저는 생각합니다.
진짜 이유는 크롤링이라는 행위 자체의 목적이 바뀐 데 있는 것 같습니다.
이번 시리즈 첫 편은 그 구조 변화에 대해 다뤄볼게요.
---
1️⃣ Googlebot이 크롤링하면 왜 사람이 왔는가
Googlebot(구글 검색 엔진의 크롤러)이 페이지를 읽는 목적은 하나였어요. 나중에 사용자가 검색했을 때 그 페이지를 결과로 보여주기 위해서.
그래서 인과 사슬이 이렇게 연결됐습니다.
Googlebot이 페이지를 크롤링 → 구글 색인에 등록 → 사용자가 검색어를 입력 → 구글이 색인에서 그 페이지를 결과로 보여줌 → 사용자가 클릭해서 실제 페이지를 방문 → 광고가 노출됨
여기서 크롤링은 "방문을 만들기 위한 준비 단계"였어요. Googlebot이 페이지를 읽는다는 건, 곧 그 페이지가 미래의 트래픽 경로에 등록된다는 뜻이었거든요. 그래서 퍼블리셔가 Googlebot을 막을 이유가 없었던 거예요. 크롤링을 허용한다 = 검색 결과에 올라간다 = 트래픽을 얻는다. 이 구조에서 크롤링 허용은 퍼블리셔에게 이익이었습니다.
그럼 AI 에이전트가 크롤링하면 어떻게 될까요?
2️⃣ AI 에이전트가 크롤링하면 왜 아무도 안 오는가
AI 에이전트가 웹을 크롤링하는 목적은 완전히 다릅니다.
사용자가 AI에게 질문 → AI가 웹 페이지를 실시간으로 수집 → 내용을 읽고 응답을 생성 → 사용자는 AI 응답만 받음 → 원본 페이지는 버려짐
이 구조에서 크롤링은 더 이상 "방문을 만들기 위한 준비"가 아니에요. 크롤링 자체가 콘텐츠를 소비하는 행위입니다. AI가 페이지 내용을 읽고, 그 내용으로 응답을 만들고, 그 다음에는 해당 페이지를 필요로 하지 않아요. 방문자는 생성되지 않습니다.
Googlebot 크롤링은 인과 사슬의 "시작점"이었는데, AI 에이전트 크롤링은 인과 사슬 자체가 없어요. 크롤링에서 소비로 바로 끝납니다. 퍼블리셔 입장에서 이건 완전히 다른 구조예요.
3️⃣ "막으면 되는 거 아냐?"라는 질문이 통하지 않는 이유
여기서 자연스럽게 드는 생각이 있어요. "그럼 AI 크롤러를 robots.txt로 차단하면 되는 거 아냐?"
근데 이게 통하지 않는 이유가 있습니다. 차단하면 AI 검색 결과에서 아예 사라지거든요.
구글 대신 검색을 시작하는 AI 서비스들 — Perplexity, ChatGPT Search, AI Overviews — 이 이제 검색의 출발점이 되어가고 있는데, 거기서 인용도 안 되고 결과에도 안 나오면 트래픽이 더 줄어들 수 있어요. 크롤링 차단이 오히려 더 큰 트래픽 손실로 이어질 수 있는 구조입니다.
그렇다고 허용하면? 2️⃣ 에서 본 것처럼, AI 에이전트는 콘텐츠를 읽고 응답을 생성한 뒤 원본 페이지를 버립니다. 사용자는 AI 응답만 받고 페이지를 직접 방문하지 않아요. 크롤링을 허용해도 퍼블리셔에게 트래픽이 돌아오지 않는 구조예요.
퍼블리셔가 처한 상황이 이렇습니다. 막아도 손해(AI 결과에서 사라짐), 허용해도 손해(트래픽 없이 콘텐츠만 소비됨).
이 딜레마가 구조적인 이유는, 기존 크롤링 허용의 논리(크롤링 = 트래픽 기회)가 AI 에이전트 크롤링에서는 성립하지 않기 때문이에요.
2025년에 AI 에이전트 크롤링이 15배 이상 증가했다는 데이터가 있는데, 이건 이 딜레마가 빠르게 확산 중이라는 신호인 것 같습니다.
---
✏️ 개인적으로 흥미로운 점
Googlebot이 처음 등장했을 때도 "크롤링이 저작권 침해 아냐?"라는 논쟁이 있었어요. 근데 결국 "크롤링 허용 = 트래픽 증가"라는 상호 이익 구조 덕분에 퍼블리셔들이 받아들였죠.
AI 에이전트 크롤링은 이 상호 이익 구조 자체가 없는 것 같아요. 트래픽을 가져다주지 않으면서 콘텐츠만 소비하는 건데, 이게 왜 퍼블리셔가 받아들여야 하는지에 대한 논리가 아직 없어 보이거든요.
다음 편에서는 이 구조 변화 속에서 구글이 어떻게 자기 광고 수익을 유지하고 있는지 다뤄볼게요. "클릭이 줄었는데 구글 Search 매출은 왜 늘었냐"라는 질문인데, 생각보다 흥미로운 논리가 있습니다.
---
여러분의 좋아요와 공유는 사랑입니다 😍