#0001
공개 위키 운영비를 밀어 올리는 공격적 AI 스크래퍼
Aggressive AI Scrapers Are Raising the Cost of Running Public Wikis
50radar
공개 지식 사이트는 사람 트래픽보다 10배 큰 크롤러 부하까지 감당해야 한다. 봇 차단은 부가 기능이 아니라 운영비를 좌우하는 인프라가 됐다.
- AI 스크래퍼를 방치하면 인간 활동 전체보다 약 10배 많은 컴퓨팅 자원을 쓸 수 있어, 공개 콘텐츠 운영비가 바로 흔들린다.
GPTBot처럼 식별 가능한 User-Agent만 막는 방식은 약해졌다. 봇이 최신Chrome처럼 헤더를 꾸며 단순 필터를 우회한다.- 하루 100만 개 IP를 돌리는 주거용 프록시가 등장하면 IP 차단은 금방 무력화된다. 행동 기반 탐지와 캐시 설계가 필요하다.
출처: news.hada.io/topic?id=29744원문 보기 →