1.代理目前可以正常使用,代理的IP每次翻一页后正常消耗一个
2.但是爬上3,4页或者7,8页会报错停止
3.代码及错误示例已发CSDN博客,查看网址:https://blog.csdn.net/weixin_51424938/article/details/114808012?spm=1001.2014.3001.5501
4.已经问过代理公司了,测试过网络没问题,估计是反爬手段或者代码写的有问题,请高手解决
5.经过测试,排除了user-Agent,时间戳,和sleep等待时间的问题,有时一样会报错
你的报错怎么看起来是代理的,你不带代理会有这个错误吗,我测试不挂代理,就是反扒了,爬不到数据,但不会报错,就是空数据
你虽然挂代理,你的header Proxy-Authorization 是固定的
1、用那么多UA干什么呀,你确定每一个UA都可以稳定访问网站吗,有两三个就行了。
2、还是代理的问题,用的哪家的。直连换匿名,匿名换隧道,有的网站有IP进出口限制的。
设置等待,读取状态码,网页读取完再解析。