scrpay-redis在爬取网页的情况下一直出现 :Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接。
而且已经在报错中间件下设置出错 自动更换ip,而且ip池会自动进行更新,还是不解决问题。而且这类错误会累计的越来越多,最好程序只在报错,不在往下进行,求各路大神有没有,类似的问题,或者解决办法
!
如果是特定的网站,那么就是服务器发现你在爬,并且限制了。服务器可以检测的行为很多,比如你访问的频率,比如你用的useragent/cookie,有一些还有通过用户操作行为分析的。
一般这种问题是因为ip不可用,或者代理ip转发太慢,如果ip是可用的话,那就是网站反爬了,最好解析一下cookie和请求参数,跟请求头无关