想在一个网站上爬取zip文件,但爬到的zip一直解压不了,我将保存格式改成txt,发现是param少了三个参数的原因,但我应该给了,希望有大佬帮忙看看
代码如下:
#从materialsproject上爬取cif文件
import requests
if __name__ == '__main__':
# UA伪装
headers = {
'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36 Edg/89.0.774.77'
}
url1 = 'https://materialsproject.org/materials/download/'
# 处理url参数
param = {
"material_id" : "mp - 2814",
"output" : "CIF",
"cifType" : "conventional_standard",
}
zip_data = requests.get(url=url1, params=param, headers=headers).content
with open('filename=material_mp-2814_files.test','ab') as fp :
fp.write(zip_data)
print('爬完了')
最后返回的结果
上面用的参数也是从相关网站上抓包抓出来的,希望有大佬教教萌新
请求头是否有其他参数没写进入,还有cookies,基本上都是请求头、请求参数和cookies的这三面入手
是不是要用post方式请求
data = {
"material_id" : "mp - 2814",
"output" : "CIF",
"cifType" : "conventional_standard",
}
zip_data = requests.post(url=url1, data=data, headers=headers).content
不行就再在headers中添加抓包时的请求头求参数
headers = {
"Content-type": .....,
"Host": .......,
"Origin": ..........,
"Referer": ...........,
"cookie": ...........
}
请求返回的信息里已经说明了,用post方法请求,data用元组形式传入看看如何。代码这样改一下:
data = (
("material_id" : "mp - 2814"),
("output" : "CIF"),
("cifType" : "conventional_standard"),
)
zip_data = requests.post(url=url1, headers=headers, data=data).content
with open(file='material_mp-2814_files.test','wb') as fp :
fp.write(zip_data)
print('爬完了')
参数应该用单引号吧
您好,我是有问必答小助手,您的问题已经有小伙伴解答了,您看下是否解决,可以追评进行沟通哦~
如果有您比较满意的答案 / 帮您提供解决思路的答案,可以点击【采纳】按钮,给回答的小伙伴一些鼓励哦~~
ps:问答VIP仅需29元,即可享受5次/月 有问必答服务,了解详情>>>https://vip.csdn.net/askvip?utm_source=1146287632
问题解决了,是我搞错了,点击下载时抓包出来的url有问题😂
非常感谢您使用有问必答服务,为了后续更快速的帮您解决问题,现诚邀您参与有问必答体验反馈。您的建议将会运用到我们的产品优化中,希望能得到您的支持与协助!
速戳参与调研>>>https://t.csdnimg.cn/Kf0y