파이썬 - Cloudflare 우회하여 크롤링하기

pip install cloudscraper

 

import cloudscraper

scraper = cloudscraper.create_scraper()  # returns a CloudScraper instance
# Or: scraper = cloudscraper.CloudScraper()  # CloudScraper inherits from requests.Session
print scraper.get("http://somesite.com").text

나무위키 또한 Cloudflare를 사용하기 때문에 일반적인 방법으로는 크롤링이 힘들다. 

근데 이 모듈 설치하면 크롤링이 가능해짐.

 

출처: 

https://stackoverflow.com/questions/49087990/python-request-being-blocked-by-cloudflare

Python - Request being blocked by Cloudflare