爬虫的时候想看response内容,结果出现乱码了
开发环境是pycharm,请问有什么办法解决吗?
hfUrl, hfHeader, hfData这些前面都定义了
hfResponce = session.post(hfUrl, headers=hfHeader, data=hfData, params=hfParam).text
print(hfResponce)
输出是这个样子:
N6E2i� Hv齊3?�+囒53|啕N绲齏rb#抠z罺盜籈寉蚡Af辡持勦h
D(A揃A團 EK
邐T獻\
(这个里面的那个菱形里面一个问号的乱码本来有几个,但是不能过审,所以只留这一个)
session.post(hfUrl, headers=hfHeader, data=hfData, params=hfParam).content.decode('对方网站的编码,比如gbk或者utf-8编码')
不过具体还得看对方网站返回的数据,如果混淆过客户端js解码还得找js逻辑python按照js的方法来实现解码。或者用selenium来采集
如果页面是utf8的编码方式,爬取时headers需要设置字符编码为对应方式。
headers = {'content-type': 'charset=utf8'}
如果是响应结果乱码,设置response 编码
response.encoding = "utf-8"