首页
编程
java
php
前端
首页
编程
java
php
前端
关于Python爬虫multiprocessing的使用问题
我在正常运行程序并企图将爬取的HTML码保存到一个列表中时,列表的结果很正常,如图一。
但是在使用pool池来运行程序并企图保存时,却保存不了,如图二。
这是为什么呢?(scrape_Page是我的爬虫函数,用到requests.get爬取数据)
看下这篇博客,也许你就懂了,链接:
Python Multiprocessing包错误汇总
你还可以看下python参考手册中的
python-multiprocessing --- 基于进程的并行
点击展开全文