scrapy不可以访问requests却可以，谁有类似的解决经验么
我也遇到这问题了。。。题主你解决了么？
鉴于这个情况 可以再Scrapy中的settings里面把机器人协议给关闭掉，只要有网站是满足该协议就无法访问
ROBOTSTXT_OBEY = False