我在使用爬虫爬取页面信息的时候找到了对应节点,得到的span无法展开或者说可能是空的,如何解决?

我在使用爬虫爬取页面信息的时候找到了对应节点,得到的span无法展开或者说可能是空的。但是原界面的span是可以展开并且有内容的,我要怎么解决这个问题呢?

img

可能是JS渲染的数据,单解析网页可能不行,可以找一下相关请求地址或者使用浏览器内核发送请求:

from selenium import webdriver

# 使用 Chrome 浏览器
browser = webdriver.Chrome()

# 打开页面
browser.get('https://example.com')

# 等待页面渲染完成
browser.implicitly_wait(10)

# 执行 JavaScript 代码获取渲染后的页面内容
html = browser.execute_script('return document.documentElement.outerHTML')

# 关闭浏览器
browser.quit()

# 处理页面内容
print(html)