想批量的采集多个网页链接中的表格并保存为xlsx或csv,每个网页中表格的样式、字段都是不同的,而且每个网页对应的表格想单独保存,请教一下该如何实现?excel自带的导入每次只能导入一个网页链接,用过八爪鱼采集器,但只能采集相同字段和样式的表格。
pd.read_html()可专门针对网页中的表格爬取, 试下这段代码是否可以:
import pandas as pd
# 如果是多个网址, 可再加一个for循环
url = '网址'
for table in pd.read_html(url):
table.to_csv('文件保存路径',encoding='utf-8',header=0,index=False)