最近在练习python爬虫,在爬取某个网站时,发现这个网站的响应码是200,可他返回的却是一个404页面,服务器使用的是nginx。
在网上查了一下应该是设置了反爬虫策略,这种情况应该怎么获取真正的url呢?
可能是请求头中有必须传的参数,用postman模拟请求试试
先分析确定接口、然后对比请求参数