不能理解为什么爬不到,明明插件上有了(爬虫)

img

img


如题,为什么插件上的xpath可以提取到我要的网页,但python里就不能呢?是哪里出了问题呢?

数据是js动态加载的,无法用requests.get到数据,你可以从这个数据接口去获取:

这种情况一般就是页面内容是由 JS 渲染出来的,F12 检查网页后发现数据都在一个POST接口中

检查返回的html是否是正常的,不加header,也不加cookie,大概率不会正常返回html

大概率是因为你需要的数据是动态添加的,很正常。直接找接口吧