万分感谢您的解答与建议
我的中间件中实现了模拟登录(中间有手机验证码的登录,手机验证码发送次数有限制)和返回需要爬取的某一页(需要返回不止一页)
但是,我只能返回一个response,
如果多次返回一个response来代替返回多个response的话,不能重复登录(验证码次数超限),
如果把selenium模拟登录放在其他地方的话,或者第二次进入不去执行它的话,没有登录状态爬不了数据(使用着代理IP池,如果保存cookie,可能与yield Request的IP不匹配)
在中间件设置判断,或者将模拟登录不要用中间件形式表示
写在爬虫脚本里面,这样比较好或者专为某个脚本设置一个中间,登录这个东西,你可以把登录以后的cookie保存,下次需要用的时候取出来去验证是否可用,这种就不需要每次去登录,最后一个就是不用scrapy,用requests得session模块保持登录状态,