python爬虫request后返回值为空

问题遇到的现象和发生背景

最近在学习爬虫,返回值为空,不知道问题出在哪里

问题相关代码,请勿粘贴截图

import requests
import time

headers = {
'user-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
'referer':'http://www.jiangsu.gov.cn/col/col59202/index.html?uid=158542&pageNum=1%27
}
res = requests.get('http://www.jiangsu.gov.cn/module/web/jpage/dataproxy.jsp?startrecord=1&endrecord=20&perpage=19',headers=headers)
print(res.text)

运行结果及报错内容

img

img

接口需要post请求并发送数据,题主get请求没用

img


改下面就可以了,注意不能采集太快,有防火墙会拦截。。-_-||。。。

img

import requests
import time

headers = {
'user-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36 Edg/97.0.1072.69',
'referer':'http://www.jiangsu.gov.cn/col/col59202/index.html?uid=158542&pageNum=1',
'X-Requested-With':'XMLHttpRequest'
}
data={'col': 1,
'appid': 1,
'webid': 1,
'path': '/',
'columnid': 59202,
'sourceContentType': 1,
'unitid': 158542,
'webname': '江苏省人民政府',
'permissiontype': 0}
res = requests.post('http://www.jiangsu.gov.cn/module/web/jpage/dataproxy.jsp?startrecord=1&endrecord=19&perpage=19',headers=headers,data=data)
print(res.text)

img

您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!
PS:问答VIP年卡 【限时加赠:IT技术图书免费领】,了解详情>>> https://vip.csdn.net/askvip?utm_source=1146287632