爬虫遇到了隐藏的标签,无法自动找到

img


如图所示,html中有一部分是隐藏内容,点击那个按钮就会出现,但是我用findall无法找到全部的tr标签,导致爬取的数据不全
我向请问,如何才能让爬虫获取到包含隐藏部分的全部内容

requests还是selenium,requests的话捕获所有请求找到对应的URL,selenium可以直接定位不可见元素。

WebDriverWait(driver, 10, 0.5).until(EC.presence_of_element_located((By.XPATH, '//tr')))

如果你是用requests去请求url的话,你不用管页面中你可以看见那些标签
因为一个页面是又多个url的返回值组成的。你只要去请求能返回你需要的url就行

鼠标右键点击检查打开开发者模式,选择网络,查看url请求就行,看那个url是返回你需要的数据,你用requests去请求就行

该数据可能为ajax动态加载数据,重新打开开发者模式抓包:
点击 显示全部761个节点 观察右面面板 Fetch/XHR 下面有没有新的请求发送,如果有的话很可能就是你真正需要的目标URL

经过多次尝试,发现是加载问题,设置一个等待时间,问题解决了,谢谢大家