scrapy 采集如何解决被采集网站的IP受限呢?采集一些大平台时,使用登录COOKIE绕过登录经常出现重定向到登录页面或者页面会变成滑动验证?
还是得写个滑动验证的
通过IP地址池的方式,每次更换不同ip。但是免费ip没有几个好使的,建议使用付费IP地址。proxies = ips[int(random.uniform(0, 30))]response = requests.get(url, headers=headers, proxies=proxies)