我直接复制Curl转换成请求,请求信息一定是全的,但是抓取下来的跟网页上的响应不一样,请问可能的原因?(由于版权原因无法放网页源码)
数据可能通过多个接口获取的。
可以按F12跟踪一下,检查参数是否一致,有没有隐藏的token参数等。
检查一下转换成请求时的参数设置是否正确,可以通过以下工具直接转换为python请求代码:
https://curlconverter.com/
另外对于异步加载的数据,最好配合jasonpath进行解析。
https://zhuanlan.zhihu.com/p/97145758
如有帮助,请点采纳。
您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!