python网络爬虫使用动态代理后翻页爬取没几页就会报错?

1.代理目前可以正常使用,代理的IP每次翻一页后正常消耗一个

2.但是爬上3,4页或者7,8页会报错停止

3.代码及错误示例已发CSDN博客,查看网址:https://blog.csdn.net/weixin_51424938/article/details/114808012?spm=1001.2014.3001.5501

4.已经问过代理公司了,测试过网络没问题,估计是反爬手段或者代码写的有问题,请高手解决

5.经过测试,排除了user-Agent,时间戳,和sleep等待时间的问题,有时一样会报错

你的报错怎么看起来是代理的,你不带代理会有这个错误吗,我测试不挂代理,就是反扒了,爬不到数据,但不会报错,就是空数据

你虽然挂代理,你的header  Proxy-Authorization 是固定的

1、用那么多UA干什么呀,你确定每一个UA都可以稳定访问网站吗,有两三个就行了。

2、还是代理的问题,用的哪家的。直连换匿名,匿名换隧道,有的网站有IP进出口限制的。

设置等待,读取状态码,网页读取完再解析。