爬取网页遇到这种情况是什么原因

爬取网页响应内容出现这种情况怎么解决,不是每次出现,运行两三次就会出现一次,其他时候正常

img

img

试了这网站没问题,连续运行了10几次都能正常得到原代码。应该题主网络问题,怎么会有内网ip地址?

出现图中的代码可能是请求头不全或在解码中出现问题,使用在headers中添加Accept或者用response的text属性,直接获取文本。

headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36 Edg/99.0.1150.39","Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"}
resp=requests.get(url=url,headers=headers)
resp.encoding='utf-8'
print(resp.text)

如有帮助,请采纳。

您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!
PS:问答VIP年卡 【限时加赠:IT技术图书免费领】,了解详情>>> https://vip.csdn.net/askvip?utm_source=1146287632