想写一个异步多线程的高效爬虫,但是试了好几次,就是不能把这两玩意揉在一起去,有人能帮助,写一个简单的例子吗?
不用把这两个揉在一起,线程池就是异步的啊,你的概念没弄清。
异步请求能够尽早的释放对线程池线程的绑定,而使用项目内定义的线程,不影响服务器处理其他用户的请求。对于那些需要长时间处理的请求,很多都是IO密集型的,也就说请求大部分处于IO等待阶段,而IO阻塞阶段是不消耗CPU资源的。异步请求使用的是项目内的线程池,项目内的线程池能比较灵活的定义配置,且可具有一定的弹性,当异步请求多时生成容器上线的线程,当异步请求少时,仅维持最低标准的线程。