selenium
url="https://www.douyu.com/directory/all"
if n == 1:
content = browser.page_source
#info = get_info(content)
#print(info)
print(content)
# 如果要获取大于1的页数的网页源代码
elif n > 1:
# ①下滑到页面底部
js_buttom = "document.documentElement.scrollTop=100000" # 固定的写法,一般设置为10万,就可以滑动到底部
browser.execute_script(js_buttom)
time.sleep(3)
# ②找到页面跳转的输入框,当前输入框内容为1,需要先清空,清空后输入数字
page_jump = browser.find_element_by_xpath('//*[@id="listAll"]/section[2]/div[2]/div/span/span/input')
page_jump.clear()
page_jump.send_keys(n)
time.sleep(3)
# ③找到确定键,点击并进行页面跳转
confirm = browser.find_element_by_xpath('//*[@id="listAll"]/section[2]/div[2]/div/span/span/span')
confirm.click()
time.sleep(3)
# ④跳转后刷新一下页面
browser.refresh()
content = browser.page_source
time.sleep(1)
#info = get_info(content)
print(content)
开启有头模式看下是不是点错下一页链接了。你这刷新问题很大,去掉试试