提问:IDLE编写爬取亚马逊商品网页代码运行正常,可以爬取,在VScode运行,显示爬取失败。什么原因?
代码如下:
import requests
url="https://www.amazon.cn/dp/B0BNP1KHGJ/ref=lp_888489051_1_2"
try:
kv={'user agent':'Mozilla/5.0'}
r=requests.get(url,headers=kv)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[:1000])
except:
print("爬取失败")
系统为Win11家庭版
1.User-Agent 的设置
2.网络环境和代理设置
3.防火墙或安全软件的干扰
4.看一下调试信息
User-Agent 的设置、网络环境和代理设置、防火墙或安全软件的干扰这几项肯定没问题,运行以后测试过状态码是200
kv={'User-Agent':'Mozilla/5.0'}