比如我要爬取的目标网页有20个图片,但是他只能下载10个,如果我爬取的目标网页有10个,他只能下载5个,我不知道是什么原因,希望大家解惑
代码有bug
在请求中把去重去掉,dont_filter=True,在Request里面,因为scrapy框架会把Url特别相似的两个就当做一个了,不一定说两个一模一样的URL就去重了,特别相似的也算,所以你要把去重关闭掉,默认的是打开的