如何爬取2022年沈阳市每个空气监测点的AQI值还有空气污染物浓度
import requests
from bs4 import BeautifulSoup
import csv
url = "https://www.aqistudy.cn/historydata/daydata.php?city=%E6%B2%88%E9%98%B3&month=202205"
response = requests.get(url, headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.48"
})
content = response.content.decode('utf-8')
print(1, content)
soup = BeautifulSoup(content, 'lxml')
table = soup.select('.row')[0]
print(2, table)
rows = table.select('tr')[1:]
with open('aqi.csv', mode='w', newline='', encoding='utf-8-sig') as f:
writer = csv.writer(f)
writer.writerow(['监测点名称', 'AQI值', 'PM2.5浓度'])
for row in rows:
cols = row.select('td')
position_name = cols[1].text.strip()
aqi = cols[2].text.strip()
pm25 = cols[3].text.strip()
writer.writerow([position_name, aqi, pm25])
需要具有基础的Html知识和python 知识。
随着硬件的不断发展，计算机的算力得到不断地发展，以人工神经网络为代表的人工智能迅速发展，数据预测便是深度学习的领域之一。然而神经网络模型的训练需要大规模的数据，尤其是大规模结构化的数据。基于此，本课程设计将爬取中国各地的每年每月每日的空气质量数据，构造面向深度学习数据预测的空气质量数据集，体现爬虫的应用及其价值。