救,关于scrapy+selenium爬取,详细页才用selenium

问题遇到的现象和发生背景

主页的链接传不进去,只会一直循环爬取第一个页面

问题相关代码,请勿粘贴截图

主spider

img

中间插件的

img

运行结果及报错内容

img

我想要达到的结果

主页能进行循环,而不是只能爬那个主页

你看看第二页的url和第一页的变化规律

spider的代码

img

img

img

改了middlewares,还是不行

img


这里是自定义的spsider类和request类

img