程序大概是这样的,range(1,6)是获取数据的1到5页,如果没数据的话url_list就会等于[],能不能判断在那一页失效后,在当前页面重试3到5次连接。
for i in range(1,6):
res = requests.post(url=url,headers=self.headers,data=data)
page_text = res.text
tree = etree.HTML(page_text)
url_list = tree.xpath('//td[@class="xzxx-first"]/a/@href')
i=1
j=0
while i<6:
res = requests.post(url=url,headers=self.headers,data=data)
page_text = res.text
tree = etree.HTML(page_text)
url_list = tree.xpath('//td[@class="xzxx-first"]/a/@href')
if len(url_list)>0 or j>3:
i=i+1
j=0
else:
j=j+1
如果拿到的列表为空继续requests ,如果不为空continue进入下一次循环