爬虫一般一分钟应该爬多少链接,他的效率要看什么了

爬虫一般一分钟应该爬多少链接,他的效率要看什么标准了,提高效率除了用多线程还有什么别的方法吗

看看这篇文章:http://drops.wooyun.org/tips/5462

有的有反扒策略。。比如你同一ip一分钟 爬了多少次。他那边都会有记载的,到时候会封你ip 。

建议代理,换ip ,伪装头信息等等。

这个要看去你的爬虫所处理的网页以及你的代码处理能力,然后用多线程多进程等来提高性能

网速正常的话,每分钟几千个。