求助爬虫实现网页表格爬取

https://uia.org/ybio?name=

这个网页的表格怎么爬取

这要看你的解析引擎的匹配语言是怎么写的吧,总之抓取的方式和JQuery差不多,就是匹配DOM节点

import pandas as pd

url = ['https://uia.org/ybio?name=&page={}.format(i)' for i in range(1,2971)]
data = pd.DataFrame()
for urli in url:
    for table in pd.read_html(urli):
        data = data.append(table)

这个网页很容易找到规律. 

可用pd.read_html()读取.

如果担心爬取太快, 可以再导入time模块, 每次间隔几秒.