我想要使用request去爬取一个网站,因为需要爬取的东西有多页,但是选中下一页的之后,网址的链接并未出现变化,使用F12查看的时候发现该按钮并未附带a连接,所以进入下一页并不是进入到一个新网页,而是直接刷新该网页,我想问一下,就是这种对于网页刷新出现新内容的网页如何去爬取全部信息
网页数据可能是通过js动态加载的,可以使用F12查看数据加载链接,然后,用get或post请求该链接获取数据。
网址
上网址链接