刚开始爬的时候还好好的,爬了快两天突然拿不到网页的源代码了,并且给我返回了个You do not have permission to get URL '某某链接' from this server. 在headers里加了新的user-agent之后又能重新爬了,可没多久又不能爬了,求lao解释解释具体的原因
一般是禁ip吧,确认换user-agent马上能爬?如果能整个user-agent数组,每次爬的时候随机数组中的其中一个不同user-agent来爬
您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!