Python爬虫requests反还内容与网页内容不相同

img

img


从网络预览可以看到，内容应该是一个列表，使用标头里的请求网址之后，返还的却是一个网页源码，这是为什么呢？

requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接requests.get请求接口获取数据就行
https://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgyd&rowcode=zb&colcode=sj&wds=%5B%5D&dfwds=%5B%5D&k1=1646787266750&h=1

img


示例代码如下

import requests
import json
import urllib3

url="https://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgyd&rowcode=zb&colcode=sj&wds=%5B%5D&dfwds=%5B%5D&k1=1646787266750&h=1"

requests.packages.urllib3.disable_warnings()

res=requests.get(url, verify=False)
res.encoding = 'utf8'
text=res.text
o=json.loads(text)


datanodes=o['returndata']['datanodes']#每个月份的数据节点
nodes=o['returndata']['wdnodes'][0]['nodes']#名称数组
for node in nodes:
    code=node['code']
    print(node['name'])
    nodedata=[item for item in datanodes if item['code'].find('.'+code+'_')!=-1]
    for data in nodedata:
        print(data['code'].split('.')[-1],data['data']['data'])
    print('\n\n\n')

img


有其他问题可以继续交流~

您好，我是有问必答小助手，您的问题已经有小伙伴帮您解答，感谢您对有问必答的支持与关注！
PS：问答VIP年卡 【限时加赠：IT技术图书免费领】，了解详情>>> https://vip.csdn.net/askvip?utm_source=1146287632