有一个需求,爬取一般的网站 直接requestes.get(url)就可以获取响应,目前我遇到的问题是我的目标服务器非常的不稳定,有时候的请求会直接报502网关错误(网页正常访问也会出现这个问题),我拿到了要请求的所有地址,使用异步的方法挨个请求,如何让其遇到错误之后继续请求,直到返回正常的数据回来,而不是遇到了一个错误之后的请求都不执行了。
你可以加判断, 正常响应是200, 返回其他的你继续请求
可以判断状态码,或者用try-expect去根据timeout写重试