网页爬虫,网址一样,但抓包的文本内容只有浏览器网址显示内容的一小部分,怎么回事?

img


网址相同,可是右边的内容只有左边的一小点,在Element中倒是能够看到左边显示的所有文本内容

img


请问这是怎么回事?怎么提取?

爬虫只能爬到网页html代码,JavaScript增加的内容是爬取不到的,你可以用右键查看页码源码看看。

通过调试工具查看到的内容,包含了JavaScript动态调整的内容,所以看不出来。

网页爬虫,网址一样是啥意思

没获取完全吧,代码也不放出来看看,咋知道你哪里错了