Python Requests 模块爬取新闻列表,回传的html就主要部分的链接变成编码保护
代码
#!/usr/bin/python3.97
import requests
Site = r"https://tophub.today/n/nBe0yQEo37"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; rv:91.0) Gecko/20100101 Firefox/91.0'
}
response = requests.get(Site, headers=headers)
Encode = response.encoding
html = response.text
print(html)
回传代码
使用浏览器打开检视原始码为
<a href="http://www.chinanews.com/ty/2022/10-22/9878184.shtml" target="_blank" rel="nofollow" itemid="97964493">女足世界杯分组抽签结果出炉 中国女足考验不小</a>
使用程序跑出来的变成
<a href="/l?e=c858v7YakUcHKiu%2BVmx2k8FiL%2BF%2BWZu5sGH8kFXDGq56yD6PPi3%2BCuYRv5LHhmDH1CChbF53f94n2H1fJtzTW7LILyB1uDssHYc8SkHQHRtKu%2F5teHPhe3nvS7sF46%2FwetDw2qfZ6FQGbGIskio4dpGE2FXQ7ydzzDcunk%2FbCA" target="_blank" rel="nofollow" itemid="97964493">女足世界杯分组抽签结果出炉 中国女足考验不小</a>
请问该如何请求才可以得到真实未编码的网址?
不知道你这个问题是否已经解决, 如果还没有解决的话: