python使用 urllib返回的信息不全，无法获取div文本内容

遇到的问题：
尝试爬取网站的相关数据，结果返回的页面信息不完整，导致无法获取div里标签的内容，主要是div里折叠的内容无法返回。
我这部分的代码如下：

edit2 = wait.until(EC.presence_of_element_located(
    (By.CSS_SELECTOR, ".index-date-range-picker > button > span")))
edit2.click()

wait1 = WebDriverWait(browser, 360)
edit3 = wait1.until(EC.presence_of_element_located(
    (By.CSS_SELECTOR, ".date-panel")))
time.sleep(1)

edit3.click()

html_doc = browser.current_url  # 获取当前页面url

header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"}
req = urllib.request.Request(html_doc, headers=header)
webpage = urllib.request.urlopen(req, timeout=1)
html = webpage.read()
soup = BeautifulSoup(html, 'html.parser')  # 文档对象

# 类名为xxx而且文本内容为 hahaha 的div

print(type(soup))
print(soup)

我做过的尝试：
尝试去获取requst url，都不行
希望实现的效果：
获取完整的返回信息，然后就可以获取其中我需要的标签信息了。

啥网站啊。不过你这够奇怪的，用了selenium了然后又用urllib去请求，这不是多此一举吗

不知道你这个问题是否已经解决, 如果还没有解决的话:

• 关于该问题，我找了一篇非常好的博客，你可以看看是否有帮助，链接：python使用 urllib下载文件

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^