我编写了个小爬虫程序,用了多线程,结果一直没调试成功,不加 join ,最后的爬虫线程不会被执行(设了线程守护也没用)
一加 join 命令线程就被卡住,在爬虫方法中设断点,发现在方法第二行时就卡住了,线程方法也没有访问其他资源的,只是简单的抓取网页内容
给上代码片断,大佬们帮我看看:
list=[数据列表]
while len(list) > 0:
t=[]
for i in range(10):
if len(list) > 0:
data=list[0]#取第一条数据
list.pop(0)#从列表中删除已取到的数据
t.append( 线程方法类(data) )
t.daemon=False
for f in t:
f.start()
#不加下面语句,最后一轮的线程方法不被执行??
#加下面语句,第一个线程直接卡死,主程序也卡死
for f in t:
f.join()
大佬们知道哪出了问题不
你好,我是有问必答小助手,非常抱歉,本次您提出的有问必答问题,技术专家团超时未为您做出解答
本次提问扣除的有问必答次数,将会以问答VIP体验卡(1次有问必答机会、商城购买实体图书享受95折优惠)的形式为您补发到账户。
因为有问必答VIP体验卡有效期仅有1天,您在需要使用的时候【私信】联系我,我会为您补发。