数据有可能是动态加载的,你没有爬到,先打印整个页面内容,搜索一下看有没有你需要的内容,没有的话,那内容就是动态加载的,request肯定爬取不到,那xpath肯定就提取不了呗!1.对于动态加载的数据,可以寻找f12开发者工具寻找接口,向接口发去请求获得数据。2.可以采用selenium爬取动态加载的数据
浏览器看到的不一定和爬虫请求回来的响应内容一致
可以把response文本渲染到页面中再检查xpath语句
http://www.cnlans.com/lx/tools/html5