练习网络爬虫,爬airbn的房屋信息。但总是说标签stale了,而我单纯把火狐浏览器放在那里,然后就报错了。
from selenium import webdriver
import time
link="https://www.airbnb.cn/s/Shenzhen--China/homes"
fp=webdriver.FirefoxProfile()
fp.set_preference("permissions.default.stylesheet",2)
fp.set_preference("permissions.default.image",2)
fp.set_preference("javascript.enabled",False)
driver=webdriver.Firefox(firefox_profile=fp,executable_path=r"C:\网络下载专区\geckodriver-v0.31.0-win64\geckodriver.exe")
driver.get(link)
rent_list=driver.find_elements_by_css_selector("div._qlq27g")
print(len(rent_list))
显示len(rent_list)为5,将列表中文本内容提取出来也只有五个。但网页本身一页有20条信息。
查了每条信息对应提取的标签也没出错,不知道为什么不能爬完全部的20条。
尝试上网搜寻解决方案
希望解释报错原因,最好帮忙修改一下代码。
fp.set_preference("permissions.default.stylesheet",2)
fp.set_preference("permissions.default.image",2)
fp.set_preference("javascript.enabled",False)
将这三行去掉试试,有可能是部分设置导致数据不齐全
那一句代码抛出的错误啊