我想用webdriver爬一个网站,但是他那个有反扒机制,我就用了mitmproxy,
但是用了mitmproxy 之后,我再用webdriver 打开网页就打不开了。
下面这样,只要使用代理,网页就打不开了。
options = Options() #chromedriver.exe选项
options.add_argument('--proxy-server=127.0.0.1:8080') #设置代理,让访问的链接通过mitmproxy的代理端口
options.add_argument('--ignore-certificate-errors') #忽略证书错误,就是能加载没安全证书或者过期的网站
wd = webdriver.Chrome('C:\Program Files\Python38\chromedriver.exe', options = options)
请问这样怎么办呢?还请大家指点一下,一言半语的关键词就行,我自己搜搜,网站地址:
https://sycm.taobao.com/ipoll/visitor.htm?spm=
a21ag.7623864.LeftMenu.d181.32063ba5Pjxy3v#/
这个你换一个计算机换一个网络(比如你把电脑带到附近的咖啡店,或者拿手机热点上网),如果可以上,就是之前的被封了。
你好,你有用mitmproxy修改过request header吗?我目前遇到这样的问题,使用mitmproxy修改请求头不生效,但是修改响应头却可以成功,一直没有找到问题所在,如果你有思绪,期望得到你的帮助,谢谢
以下是我发布的改问题的提问
https://ask.csdn.net/questions/7648614