requests还是selenium,requests的话捕获所有请求找到对应的URL,selenium可以直接定位不可见元素。
WebDriverWait(driver, 10, 0.5).until(EC.presence_of_element_located((By.XPATH, '//tr')))
如果你是用requests去请求url的话,你不用管页面中你可以看见那些标签
因为一个页面是又多个url的返回值组成的。你只要去请求能返回你需要的url就行
鼠标右键点击检查打开开发者模式,选择网络,查看url请求就行,看那个url是返回你需要的数据,你用requests去请求就行
该数据可能为ajax动态加载数据,重新打开开发者模式抓包:
点击 显示全部761个节点 观察右面面板 Fetch/XHR 下面有没有新的请求发送,如果有的话很可能就是你真正需要的目标URL
经过多次尝试,发现是加载问题,设置一个等待时间,问题解决了,谢谢大家