学习用seleium学习爬虫时遇到的问题

问题遇到的现象和发生背景

学习爬虫,用selenium爬Airbnb。

问题相关代码,请勿粘贴截图

from selenium import webdriver
link="https://www.airbnb.cn/s/Shenzhen--China/homes"
driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
driver.get(link)
rent_list=driver.find_elements_by_css_selector("div._qlq27g")
print(len(rent_list))

运行结果及报错内容

5

进程已结束,退出代码0

我的解答思路和尝试过的方法

理论上一个页面应该有20条信息,但每次只爬出来5个,不知道为啥。

我想要达到的结果

希望能解释出错原因。

页面初始就是只有5个class是_qlq27g的div
之后是用js动态更新到20个的
用time.sleep(5)延时一下,等到js动态更新后再获取即可
你题目的解答代码如下:

from selenium import webdriver
import time
link="https://www.airbnb.cn/s/Shenzhen--China/homes"
driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
driver.get(link)
time.sleep(5)  #延时一下,等到js动态更新后再获取
rent_list=driver.find_elements_by_css_selector("div._qlq27g")
print(len(rent_list))

如有帮助,请点击我的回答下方的【采纳该答案】按钮帮忙采纳下,谢谢!

img

您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!
PS:问答VIP年卡 【限时加赠:IT技术图书免费领】,了解详情>>> https://vip.csdn.net/askvip?utm_source=1146287632