这个网页的表格怎么爬取
这要看你的解析引擎的匹配语言是怎么写的吧,总之抓取的方式和JQuery差不多,就是匹配DOM节点
import pandas as pd
url = ['https://uia.org/ybio?name=&page={}.format(i)' for i in range(1,2971)]
data = pd.DataFrame()
for urli in url:
for table in pd.read_html(urli):
data = data.append(table)
这个网页很容易找到规律.
可用pd.read_html()读取.
如果担心爬取太快, 可以再导入time模块, 每次间隔几秒.