爬虫xpath获取不到数据

img

img


浏览器console已经出现有数据了,但是getall后的investments仍然是空不知道为什么

数据有可能是动态加载的,你没有爬到,先打印整个页面内容,搜索一下看有没有你需要的内容,没有的话,那内容就是动态加载的,request肯定爬取不到,那xpath肯定就提取不了呗!
1.对于动态加载的数据,可以寻找f12开发者工具寻找接口,向接口发去请求获得数据。
2.可以采用selenium爬取动态加载的数据

浏览器看到的不一定和爬虫请求回来的响应内容一致

可以把response文本渲染到页面中再检查xpath语句

http://www.cnlans.com/lx/tools/html5