pathon爬虫爬取某网站所有图片

如何用python爬取学校官网的所有图片(http://www.ybu.edu.cn/)求指教

要获取全部图片相对比较复杂些,需要针对每个栏目找出标签,写出xpath或css去匹配获取。给一个完整的页面网幅广告图片下载代码参考:

import requests
import time 
from lxml import etree
url = 'http://www.ybu.edu.cn'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44'}
sess=requests.Session()
req=sess.get(url,headers=headers)
html=etree.HTML(req.text)
imgs=html.xpath('//*[@class="li-img"]/a/img/@src')
imgs=[url+x for x in imgs]
for i,img in enumerate(imgs[:3]):
    r=sess.get(img)
    time.sleep(2)
    with open(f'imgs/{i}.png','wb') as f:
        f.write(r.content)

对其他图片内容多写几个xpath去获取。

如对你有帮助,请点击采纳该回答。