学习爬虫,用selenium爬Airbnb。
from selenium import webdriver
link="https://www.airbnb.cn/s/Shenzhen--China/homes"
driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
driver.get(link)
rent_list=driver.find_elements_by_css_selector("div._qlq27g")
print(len(rent_list))
5
进程已结束,退出代码0
理论上一个页面应该有20条信息,但每次只爬出来5个,不知道为啥。
希望能解释出错原因。
页面初始就是只有5个class是_qlq27g的div
之后是用js动态更新到20个的
用time.sleep(5)延时一下,等到js动态更新后再获取即可
你题目的解答代码如下:
from selenium import webdriver
import time
link="https://www.airbnb.cn/s/Shenzhen--China/homes"
driver=webdriver.Firefox(executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
driver.get(link)
time.sleep(5) #延时一下,等到js动态更新后再获取
rent_list=driver.find_elements_by_css_selector("div._qlq27g")
print(len(rent_list))
您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!如有帮助,请点击我的回答下方的【采纳该答案】按钮帮忙采纳下,谢谢!