我在做爬虫时需要同时打开30个Headless Chrome,请问什么配置可以满足

如题,我做了一个爬虫,想30线程同时爬,打开30个Headless Chrome浏览器,然后就看到CPU占用率一直是100%,直到快两分钟才执行结束,我的配置是I54590 3.3Ghz,8G内存。是不是使用志强多线程会更好一点呢?对电脑配置不太懂,也不太清楚Chrome多开CPU核数多了是不是执行的更快,望解惑,最好能直接给我一个配置推荐。

你为什么要开30个线程?装64位系统,内存加到至少32G,CPU暂时别换,CPU使用率高可能是内存阻塞了。速度快,就要配置高,买i9

这个CPU才四核四线程,线程数量超核心支持太多没意义。这时期 的配置,考虑到数据持久化的问题,硬盘速度是最大限制。

不明白为什么必须要打开浏览器,直接request不行么?是不是cookie或者js验证啥的没有办法解决才只能开浏览器。