Python scrapy 中 if 语句不到结束条件就结束运行

img

img


这段代码为什么只会爬取到第三页?我刚接触到这一块东西,这里有点迷,网上我也没搜到解决办法,求大佬解惑!

涉及爬虫未完成任务的原因很多,不能笼统地说,例如:页面不到 10页,某一页面的网址恰好不符合规则,访问受限,请求未被接受,某页中的内容与正则表达式不匹配,等等。
你可以加入爬虫状态跟踪,逐项识别排除。

你就放这么点代码出来,都看不到你这函数哪里调用的
如果代码就这么点,你这if里的代码能执行第二次我都觉得惊奇,因为根本没有循环呀
再说,你为什么从第二页开始爬,第一页哪去了
代码没调试好,就用IDE断点调,一步一步来,不要着急直接从头跑到尾

你callback回调来增加页数,我觉得有问题,因为yield是异步操作,你最后把增加页数放到for循环的同步代码中