实战-无限制爬取猎聘网课程中翻页url的Rule规则如何设置?

课程中介绍实战-无限制爬取猎聘网时,猎聘网的页面html代码中翻页url直接设置在了标签里面:

img

但当前猎聘网的页面html代码已经做了调整,翻页url在html代码中没有直接的体现:

img


请问,这种情况下CrawlSpider爬虫的LinkExtractor的Rule该如何定义allow?

你点击每一页会发现url是有规律变化的
比如第二页的url为
https://www.liepin.com/zhaopin/?headId=9e1b99aa751f123cc7e3221b5e2ad9fc&ckId=9e1b99aa751f123cc7e3221b5e2ad9fc&key=java¤tPage=1
参数currentPage代表当前页数,你直接修改这个参数值就可以实现翻页了

嗯可以发现不同页的url地址的规律,那么在scrapy框架中,应该是等到当前页的所有职位信息详情数据解析保存完成后,再通过yield scrapy.Request(下页url地址)的方式来请求翻页。
请问老师:
yield scrapy.Request(下页url地址)代码是否能放在爬虫的“parse_job”回调方法中?如果可以,那么每执行一次职位详情页请求后的响应会回调“parse_job”方法,在这个方法中如何判断本次回调是执行了最后一个职位详情页的请求?
Scrapy框架中是否有方法能够自动判断执行了当前职位列表页面中最后一个职位详情页的请求?即根据Rule(LinkExtrator(allow=r’https://www.liepin.com/job/\d+\.shtml.*’, restrict_xpath=[‘//ul[@class=”sojob-list”]//a’], call_back = ‘parse_job’, follow=False)) 规则,已经完成了所有符合LinkExtrator的职位详情页的爬取?