无法爬取boss直聘岗位信息对应的标签列表

目的：获取li标签列表，从而获取岗位信息和岗位描述

在这里插入图片描述

  • scrapy效果

    在这里插入图片描述

  • requests效果

    在这里插入图片描述

  • selenium效果

    在这里插入图片描述

  • 结论

    使用selenium可以爬取li标签列表，但是使用scrapy框架和requests模块无法得到li标签列表

img

我使用上图使用的方法，在response里面可以找到数据，但是使用request、scrapy无法爬取数据

这是为什么?/font>

selenium能获取是因为获取的加载后的页面，scrapy获取的是动态页面