我在使用爬虫爬取页面信息的时候找到了对应节点,得到的span无法展开或者说可能是空的。但是原界面的span是可以展开并且有内容的,我要怎么解决这个问题呢?
可能是JS渲染的数据,单解析网页可能不行,可以找一下相关请求地址或者使用浏览器内核发送请求:
from selenium import webdriver
# 使用 Chrome 浏览器
browser = webdriver.Chrome()
# 打开页面
browser.get('https://example.com')
# 等待页面渲染完成
browser.implicitly_wait(10)
# 执行 JavaScript 代码获取渲染后的页面内容
html = browser.execute_script('return document.documentElement.outerHTML')
# 关闭浏览器
browser.quit()
# 处理页面内容
print(html)