我购买了付费ip池,但是不知道怎么什么于scrapy结合!怎么在高并发的情况使用付费ip,并且让过期的ip自己替换掉?
做一个IP代理服务器,就是通过程序拿付费IP,然后使用IP访问网页,检测IP是否过期,没过期就写入数据库,过期就从数据库删除。再提供api接口,给scrapy通过api接口拿到有效的IP