爬虫一般一分钟应该爬多少链接,他的效率要看什么标准了,提高效率除了用多线程还有什么别的方法吗
看看这篇文章:http://drops.wooyun.org/tips/5462
有的有反扒策略。。比如你同一ip一分钟 爬了多少次。他那边都会有记载的,到时候会封你ip 。
建议代理,换ip ,伪装头信息等等。
这个要看去你的爬虫所处理的网页以及你的代码处理能力,然后用多线程多进程等来提高性能
网速正常的话,每分钟几千个。