AI 봇 트래픽, 1년 만에 폭발적 증가…클라우드플레어 분석

[AI리포터]

AI 봇 트래픽이 급증했다 [사진: 셔터스톡]

[디지털투데이 AI리포터] 인공지능(AI) 기업들이 웹 데이터를 수집하기 위해 봇을 활용하면서, AI 관련 트래픽이 급증하고 있다고 2일(이하 현지시간) 온라인 매체 기가진이 보도했다.

웹 인프라 제공업체 클라우드플레어는 최근 AI 봇들의 웹 크롤링 패턴을 분석한 결과를 공개했다. 이에 따르면, 2025년 8월 18일 기준 가장 많은 트래픽을 기록한 AI 봇은 오픈AI의 GPT봇(GPT Bot)으로 나타났다. 메타의 메타-익스터널에이전트(Meta-ExternalAgent)와 앤트로픽의 클로드봇(ClaudeBot)도 활동량이 크게 증가했다.

AI 봇 트래픽 점유율을 비교한 결과, GPT봇이 가장 큰 비중을 차지했으며, 메타-익스터널에이전트와 클로드봇의 비중도 전년 대비 확대됐다. 반면, 아마존의 아마존봇(Amazonbot)과 바이트댄스의 바이트스파이더(Bytespider)는 점유율이 감소했다. AI 봇의 크롤링 목적을 살펴보면, 학습(Training) 목적이 가장 큰 비중을 차지했고, 검색(Search) 목적의 크롤링은 감소했다.

클라우드플레어는 AI 봇들의 활동이 웹사이트 트래픽에 미치는 영향을 지속적으로 모니터링하고 있으며, AI 봇이 웹 환경을 어떻게 변화시키고 있는지에 대한 분석을 이어갈 계획이다. AI 봇이 증가하면서 웹사이트 운영자들의 대응 전략도 변화할 것으로 보인다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>