请问多进程队列怎么使用呢?比如我有一个12个网站的清单需要request.get,我创建4个进程去共同操作
def getinfo(q):
for i in range(12):
print(i)
time.sleep(5)
if __name__ == "__main__":
q = Queue(4)
p1 = Process(target=getinfo, args=(q,))
p2 = Process(target=getinfo, args=(q,))
p3 = Process(target=getinfo, args=(q,))
p4 = Process(target=getinfo, args=(q,))
p1.start()
p2.start()
p3.start()
p4.start()
p1.join()
p2.join()
p3.join()
p4.join()
现在的结果:
get网站1
get网站1
get网站1
get网站1
get网站2
get网站2
get网站2
get网站2
因为响应不同,4个共同操作,任意一个完成后,下一个就接着执行,需要结果:
get网站1
get网站2
get网站3
get网站4
get网站6
get网站7
get网站5
get网站8
你12个网站对应12个url,你把url放进list里,循环丢给进程
因为你进程只开了4个,所以有进程执行完毕了,队列里会自动有新进程开始执行,直到队列变空
你现在这样给每个进程分配一样的任务,循环去访问12个网站,那不是闹呢么