我想scrapy使用IP代理时爬取失败就重试三次,重试失败后删除无效ip怎么操作呢?

大概就是我想在scrapy重试失败之后运行一些代码,应该放在哪个位置呢?应该怎么写呢?

一般这种情况,我们会自己建一个代理ip的redis库,平时将代理先筛选一遍放到该redis库里,当代理失败的话,就把这个失败的代理pop出去。因此这个步骤像我会放到spider里