怎样才能爬取到这个网站资产的缩略图和名称呢

怎样才能爬取到这个网站资产的缩略图和名称呢。
find_all返回都是空列表,

import requests
from bs4 import BeautifulSoup

url = "https://quixel.com/megascans/home"

# 发送请求并获取网页内容
response = requests.get(url)
html = response.content

# 使用 BeautifulSoup 解析网页内容
soup = BeautifulSoup(html, 'html.parser')

# 查找包含 gridDiv___m7dLb 类名的 
元素 divs = soup.find_all('div', {'class': 'gridDiv___m7dLb'}) # 输出所有找到的
元素 for div in divs: print(div)

先用fiddler抓包,然后程序照着写,post什么,url多少

用lxml抓取,简单一些

参考GPT和自己的思路:

首先需要确定要爬取的是哪个网站的资产缩略图和名称,因为不同的网站可能有不同的爬取方法。在本例中,这个网站似乎使用了动态加载的方式,也就是说,在初次加载完页面后,资产缩略图和名称并没有一次性被全部加载出来,而是通过 JavaScript 动态加载的。

如果使用 requests 和 BeautifulSoup 这样的库进行爬取,只能获取到初次加载时的网页源代码,而看不到动态加载的数据。因此,需要使用其他的技术,比如 Selenium 或 Scrapy,来模拟浏览器行为,加载完整的页面并获取资产缩略图和名称。

在使用 Selenium 或 Scrapy 爬取时,可以使用类似如下的代码:

```
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
import time

url = "https://q/