如何用python爬取学校官网的所有图片(http://www.ybu.edu.cn/)求指教
要获取全部图片相对比较复杂些,需要针对每个栏目找出标签,写出xpath或css去匹配获取。给一个完整的页面网幅广告图片下载代码参考:
import requests
import time
from lxml import etree
url = 'http://www.ybu.edu.cn'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44'}
sess=requests.Session()
req=sess.get(url,headers=headers)
html=etree.HTML(req.text)
imgs=html.xpath('//*[@class="li-img"]/a/img/@src')
imgs=[url+x for x in imgs]
for i,img in enumerate(imgs[:3]):
r=sess.get(img)
time.sleep(2)
with open(f'imgs/{i}.png','wb') as f:
f.write(r.content)
对其他图片内容多写几个xpath去获取。
如对你有帮助,请点击采纳该回答。