刚学会python爬虫多线程 因学习需要 有时需要从网站下载一些资源做文本分析 开多少线程不会妨碍到一个网站的正常运营?只是偶尔根据需要来爬 不会长时间挂在进行抓取 这样爬的话会妨碍服务器正常运行吗 开多少线程才合理?
你要是只是单纯的下载的话,不必在乎速度吧!尽量不开或者少开吧,因为你这多线程速度过快,基本会封掉ip ,还要做代理。看你爬取的对象吧,如果稍微差不多的厂子基本没影响。但不能滥用。