看了下代码都是正确的,表达式也无误,但就是爬不到东西,爬取显示为0,感觉是keyword解码的问题
keyword="江苏"
def ip(ippools):
thisip=random.choice(ippools)
def ua(uapools):
thisua=random.choice(uapools)
for i in range(0,2):
url='https://xxxxxxxxxxxx?q='+keyword+'&s=44'
res=requests.get(url,headers=ua(uapools),proxies=ip(ippools))
pat='"pic_url":"//(.*?)"'
imglist=re.findall(pat,res.text)
print(len(imglist))
你的网页是否是静态的?动态网页直接用url是获取不到的
使用
ctrl+u
打开网页源代码,若需要的内容不在,则说明你这个网页是动态的,需要使用动态的方法爬取。
1.如果是编码问题可以使用urllib.urlencode对url进行编码看看
2.最好是通过抓包工具进行抓包分析