码迷,mamicode.com
首页 > 编程语言 > 详细

【python】多线程queue导致的死锁问题

时间:2017-06-05 23:43:16      阅读:461      评论:0      收藏:0      [点我收藏+]

标签:release   put   style   get   死锁   nbsp   else   取得数据   python脚本   

写了个多线程的python脚本,结果居然死锁了。调试了一整天才找到原因,是我使用queue的错误导致的。

 

为了说明问题,下面是一个简化版的代码。注意,这个代码是错的,后面会说原因和解决办法。

import Queue
import threading

queue = Queue.Queue()

def test(q):
    while True:
        if q.qsize() != 0:
            d = q.get()
            print d
        else:
            break

def main():
    global queue
    n = 100
    for i in range(66):
        queue.put(i)
    
    threads = []
    for i in range(n)
        threads.append(threading.Thread(target=test, args = (queue,)))
    
    for i in range(n):
        threads[i].start()
    for i in range(n):
        threads[i].join()

 

上面这个代码是会造成死锁的。原因就在下面这一小段。

    while True:
        if q.qsize() != 0:
            d = q.get()

由于有多个线程同时运行此段代码,所以队列q是各个线程共享的。

如果在q只剩一个数据的时候,有3个线程都运行到if q.qsize() != 0:,那么这3个线程都会满足此条件。从而继续运行。

然后,在d = q.get()处,只有一个线程能够取到数据,此后队列为空,另外两个线程无法取得数据,从而锁死在此处。

 

解决方法:加锁

import Queue
import threading

queue = Queue.Queue()
mutex = threading.Lock()

def test(q):
    global mutex
    while True:
        mutex.acquire()
        if q.qsize() != 0:
            d = q.get()
            mutex.release()
            print d
        else:
            mutex.release()
            break

def main():
    global queue
    n = 100
    for i in range(66):
        queue.put(i)
    
    threads = []
    for i in range(n)
        threads.append(threading.Thread(target=test, args = (queue,)))
    
    for i in range(n):
        threads[i].start()
    for i in range(n):
        threads[i].join()

 

【python】多线程queue导致的死锁问题

标签:release   put   style   get   死锁   nbsp   else   取得数据   python脚本   

原文地址:http://www.cnblogs.com/dplearning/p/6947213.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!