怎么让爬虫用requests函数使用虚拟IP访问网站?

我买了一个带密码的虚拟IP,怎么让爬虫用requests函数使用这个虚拟IP访问网站?


https://blog.csdn.net/qq_40693171/article/details/83588989

from urllib import request
#这是代理url
url = 'xxxxx'
#这是代理IP
proxy = {'http':'XXXXX'}
#创建ProxyHandler
proxy_support = request.ProxyHandler(proxy)
#创建Opener
opener = request.build_opener(proxy_support)
#添加User Angent
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
#安装OPener
request.install_opener(opener)
#使用自己安装好的Opener
response = request.urlopen(url)

from urllib import request
#这是代理url
url = 'xxxxx'
#这是代理IP
proxy = {'http':'XXXXX'}
#创建ProxyHandler
proxy_support = request.ProxyHandler(proxy)
#创建Opener
opener = request.build_opener(proxy_support)
#添加User Angent
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
#安装OPener
request.install_opener(opener)
#使用自己安装好的Opener
response = request.urlopen(url)

 

可以参考我这两篇博客
一个是关于IP代理池,一个是关于IP代理服务商的
Python爬虫实战:东方财富网股吧数据爬取(三) Python爬虫实战系列文章目录Python爬虫实战:东方财富网股吧数据爬取(一)Python爬虫实战:东方财富网股吧数据爬取(二)Python爬虫实战:东方财富网股吧数据爬取(三)Python爬虫实战:东方财富网股吧数据爬取(四)目录Python爬虫实战系列文章目录前言一、项目说明二、问题重述二、实施过程1.为什么需要建立爬虫代理IP池2.系统环境配置Ⅰ. Python环境配置Ⅱ. Redis数据库环境配置2.完整爬取标题内容,避坑!总结写在最后前言看过我前两篇文章的朋友应该对本次项目非 https://blog.csdn.net/qq_45538469/article/details/115457422
Python爬虫实战:东方财富网股吧数据爬取(四) Python爬虫实战系列文章目录Python爬虫实战:东方财富网股吧数据爬取(一)Python爬虫实战:东方财富网股吧数据爬取(二)Python爬虫实战:东方财富网股吧数据爬取(三)Python爬虫实战:东方财富网股吧数据爬取(四)目录Python爬虫实战系列文章目录前言一、项目说明二、问题重述二、实施过程1.登录/注册,进入后台做验证授权2.点击“获取列表”获取API接口3.获取代理IP并访问4.封装函数写入爬虫总结写在最后前言本篇文章主要介绍一下代理商提供的IP代理池的使用方法。功能与 https://blog.csdn.net/qq_45538469/article/details/115471702