遇到的一个问题,需求是scrapy在middlewares.py中想为每个线程设置独立的ip
但是对方网站追踪cookie和ip地址为后续请求做验证,顾需要在第一次为每个线程设置完代理后,便不再改变使之持续如何做到,我现在可以做到的是为每个请求分配不同ip或者为所有请求分配同一个ip,没办法做到位每个线程分配不同ip并使之持续不变
对每个线程单独分配一个代理IP操作比较难以实现,但是可以根据request的meta属性为每一个request对象设置一个固定的代理IP
request对应的response对象会自动复制request的meta属性,根据meta属性可以很简单的实现为一个request绑定一个代理的功能