Python爬虫,进去一个网页之后,想要跳转到这个网页的子网页爬取,但是必须通过主网页点击才能进去。

图片说明

上面是按F12得到的该网页进入“子网页”的函数,请问怎么处理才能进去“子网页”页面?(直接访问子网页网址会提示你要从主网页进去)

用浏览器的f12功能抓包看下。
一般来说“通过主网页点击才能进去”这个服务器是通过referer这个字段判断的,也就是拟提交的请求,包括
referer: 你的主页url
那么就可以骗过服务器,让它认为你是通过主网页点击进去的。
另一个就是,你传入的rand=xxx这个参数,要根据当前时间生成,而不能是死的。