如何爬取具体的多页表格数据

想收集商务部对外投资的企业数据,网址是(http://femhzs.mofcom.gov.cn/fecpmvc_zj/pages/fem/CorpJWList_nav.pageNoLink.html?session=T&sp=2&sp=S+_t1.CORP_CDE%2C+_t1.id&sp=T&sp=S),首页能爬取,但是第二页开始,即使单页爬取也会报错,有人指导一下吗?哭泣

估计是使用requests的,你可以到XHR查找点击翻页时的数据加载链接情况,对特定的链接接口进行请求。

你看看第一页和第二页的URL有什么区别和规律,你要分析第二页的数据是来自ajax还是后端渲染