telexed ~ c / 4c5aaa49-985radar:50 · otherLIVE
← 피드로
NO.
#4c5aaa49
분야
기타
출처
GitHub Trending Weekly
게재
2026-05-07 02:08:53
중요도
★ 5/10 — radar 50
`Scrapling`: 적응형 선택자와 안티봇 fetcher를 묶은 파이썬 스크래핑 프레임워크
FIG-0451:1

`Scrapling`: 적응형 선택자와 안티봇 fetcher를 묶은 파이썬 스크래핑 프레임워크

`Scrapling`: adaptive Python web scraping with anti-bot fetchers and scalable spiders

단발 요청부터 동시 크롤링까지 Fetcher·Spider·프록시 로테이션을 한 라이브러리로 묶었다. 레이아웃이 자주 바뀌는 타깃을 긁어야 한다면 유지보수 비용을 꽤 줄여줘서 지금 써볼 만함.

[ 요점 ]
  1. Cloudflare Turnstile 대응 fetcher를 기본 제공해 브라우저 자동화와 우회 로직을 직접 엮는 수고를 줄인다.
  2. 저장한 선택자를 나중에 adaptive=True로 다시 찾는 구조라 DOM 변경이 잦은 가격 추적·상품 수집 작업에 잘 맞는다.
  3. Spider 레이어는 동시성, 멀티세션, pause/resume, 실시간 통계를 묶어 스크립트에서 크롤러로 커질 때 갈아탈 필요를 줄였다.
  4. 기능 범위가 CLI·프록시 로테이션·MCP까지 넓다. 파이썬 중심 자동화 스택이면 매력적이지만, 가벼운 1회성 수집엔 다소 무겁다.
원문github.com/D4Vinci/Scrapling원문 보기 →

// related