爬虫,爬取的网页源码为啥中间一部分缺失

 最需要的那部分缺失了,因为页面是异步加载返回吗?

这部分html内容是用脚本运行时写入的,可以使用chrome开发者工具找到对应的脚本。

下图是在chrome开发者工具中断点的方法,添加断点后,刷新网页可以找到对应的脚本

 

1. 如果内容来自服务端其他的url,可从这个url获取内容

2. 如果内容在当前网页的脚本中,可以通过正则re分析获取内容