Python 爬虫爬取两个不同网页的数据,如何进行整合?

想爬取腾讯网页有关疫情的数据,可是数据分布在不同url里面,如何进行整合?

问题相关代码 :
网页1:
import requests
import json

url = "https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5%22
res = requests.get(url)
d = json.loads(res.text)
data_all = json.loads(d["data"])
data_all.keys()
运行结果:
dict_keys(['lastUpdateTime', 'chinaTotal', 'chinaAdd', 'isShowAdd', 'showAddSwitch', 'areaTree'])

网页2:
url = "https://view.inews.qq.com/g2/getOnsInfo?name=disease_other%22
res2 = requests.get(url)
d2 = json.loads(res2.text)
data_all2 = json.loads(d2["data"])
data_all2.keys()
运行结果:
dict_keys(['cityStatis', 'chinaDayList', 'chinaDayAddList', 'provinceCompare', 'nowConfirmStatis', 'statisGradeCityDetail', 'dailyNewAddHistory', 'dailyHistory', 'wuhanDayList', 'articleList'])

我想要达到的结果:
将两个网页的运行结果合并成一个url,该如何做? 或者是否可以拼接两个url,同时得到运行结果为两者的,结合体,即运行结果 关键字里是以上两个网页的整合。

不就是同时发送2个请求获取数据,然后按照需求对2个数据进行过滤获取需要的数据后组成客户端需要的数据输出。

img


有其他问题可以继续交流~

做不到啊,每个URL对应的是一个后台服务的接口,后台服务不支持你描述的一次请求返回两个接口的数据;除非后台服务也是你自己的,你自己单独开一个接口,将你想要的数据一起返回。所以,你只能调用这两个接口,自己将数据进行整合。