模拟请求,应该加入headers,返回的网址中带编码的表示一些特殊字符,可以用urllib.parse的unquote转换一下即可。在传递headers时,除了user-agent外,有的还需加入cookie,referer等,要根据F12页面返回的请求头headers来写。
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36"
}