急!Python爬虫报错

用Python爬取网页150多个页面时,程序老是报同一个错误:【10053】你的主机中的软件中止了一个已建立的连接! 请问大神怎么解决啊,我多次重新运行程序都不行,且每次报错时正在爬取的页面也不一样

你是自己写的socket吗

有的网站频繁请求是这样的。可能是连接数问题或者是IP被限制问题。

可以切换ip, 或者是headers 的 ua 。

另外换成 requests.session 请求,把 keep_alive 设为 False 。

把headers的 connection 设置为 close。

增加一下超时时间和重试次数 。

坐等大佬回答