scrapy添加代理ip后请求全部是403

使用scrapy进行爬虫,未加上代理ip前,请求正常;加入代理ip后,所有网页请求码全是403

img

有几种可能
1.你代理ip设置错误
2.网站把代理ip放进了黑名单里

代理不可用,并不是你随便加一个ip地址一个端口就可以的,你要先测试这个代理能不能用

https://blog.csdn.net/weixin_40018318/article/details/112796581

403错误_百度百科

403表示你已经成功访问到服务器 说明ip在网络上是可用的
但是服务器拒绝了请求 拒绝的可能就很多了 但是大概率是因为ip或着请求参数 被服务器拒绝访问

给你找了一篇非常好的博客,你可以看看是否有帮助,链接:scrapy 爬虫 403 错误