from itemadapter import ItemAdapter
import os
import urllib.request
class Shaobeibei041Pipeline:
#__init__()构造函数
def __init__(self):
#创建文件夹名字
self.foldername='output/images'
#判断文件夹是否存在
if not os.path.exists(self.foldername):
#若不存在,就创建文件夹output
os.mkdir(self.foldername)
def process_item(self, item, spider):
print(">>图片采集.......")
# 获取电影海报链接地址:
movie_pic=item['pic_url'][0]
#拆分字符串,并获取最后一个元素作为图片名称
image_name=movie_pic.split('/')[-1]
print(movie_pic)
try:
#下载图片到指定的文件夹中
urllib.request.urlretrieve(item['pic_url'][0],self.foldername+'/%s'%image_name)
except Exception as err:
#下载报错
raise('下载报错!'+str(err))
return item
ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1125)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1125)>
TypeError: exceptions must derive from BaseException
确定爬取的内容没问题?debug看下movie_pic
你的调用代码在哪里,有没有调用
有没有报错,如果有,什么错误提示