python爬虫中如何解码

看了下代码都是正确的,表达式也无误,但就是爬不到东西,爬取显示为0,感觉是keyword解码的问题

keyword="江苏"

def ip(ippools):
    thisip=random.choice(ippools)

def ua(uapools):
    thisua=random.choice(uapools)

for i in range(0,2):
    url='https://xxxxxxxxxxxx?q='+keyword+'&s=44'
    res=requests.get(url,headers=ua(uapools),proxies=ip(ippools))
    pat='"pic_url":"//(.*?)"'
    imglist=re.findall(pat,res.text)
    print(len(imglist))

你的网页是否是静态的?动态网页直接用url是获取不到的

使用ctrl+u 打开网页源代码,若需要的内容不在,则说明你这个网页是动态的,需要使用动态的方法爬取。

1.如果是编码问题可以使用urllib.urlencode对url进行编码看看
2.最好是通过抓包工具进行抓包分析