middewares里：
class ProxyMiddleWare(object):
def process_request(self, request, spider):
proxy = random.choice(PROXIES)
if proxy['user_passwd'] is None:
# if 'user_passwd' not in proxy:
# 没有代理账户验证的代理使用方式
print('---------------------->>> ', proxy['ip_port'])
request.meta['proxy'] = "http://" + proxy['ip_port']
# request.meta['proxy'] = 'http://122.235.168.162:8118'
else:
# 对账户密码进行base64编码转换
base64_userpasswd = base64.b64encode(proxy['user_passwd'].encode())
# 对应到代理服务器的信令格式里
request.headers['Proxy-Authorization'] = 'Basic ' + base64_userpasswd.decode()
request.meta['proxy'] = "http://" + proxy['ip_port']
setting里：
PROXIES = [
# {'ip_port': '61.175.192.2:35420'},
# {'ip_port': '221.234.192.10:8010'},
{'ip_port': '221.224.49.194:51127', 'user_passwd': ''},
# {"ip_port": "121.41.8.23:16816", "user_passwd": "morganna_mode_g:ggc22qxp"},
# {'ip_port': '122.224.249.122:8088', 'user_passwd': 'user4:pass4'},
]
DOWNLOADER_MIDDLEWARES = {
'taobao.middlewares.ProxyMiddleWare': 750,
'taobao.middlewares.RandomUserAgent': 400,
}
我是这么设置的，而且这个IP用request测试过，返回状态码也是200，但在scrapy里不能正常抓取数据，请教各位大神指点下
1.可以尝试测试下你的代理是否可以对其他网站爬取，如果无效，说明你的代理有问题
2.淘宝网对一般的代理无效，可以尝试爬取 https://www.whatismybrowser.com/ 网址，找到IP Address 是否你真是IP还是代理的IP
你的代理服务器可能是透明代理，这类代理会向服务器报告你的客户端ip（通过x-forward-for），从而使得服务器的反爬虫机制不让你爬。你需要找匿名代理。
if isinstance(agent, self._TunnelingAgent):
headers.removeHeader(b'Proxy-Authorization')
scrapy中把Proxy-Authorization'这删掉了，不知道是这个原因不
request.meta['http_proxy'] = proxy
https://www.cnblogs.com/blackworm/p/11329228.html
如果设置了ip不能正常工作，如果觉得是ip原因的话，我们可以先从ip类型分析一下，透明代理，普匿代理（普通匿名代理）和高匿代理（高级匿名代理）。这三种代理虽然匿名程度不同，但是都有其适用的范围，我们可以根据自己的实际情况进行选择和使用。其中高匿代理的适用范围最广，例如网络爬虫配合（ipidea）。高匿代理才能保证工作效率。