Queue.Queue与collections.deque

我需要一个队列,多个线程可以放入东西,多个线程可以读取.

Python至少有两个队列类,Queue.Queue和collections.deque,前者似乎在内部使用后者.两者都声称在文档中是线程安全的.

但是,队列文档还指出:

collections.deque是无界队列的替代实现,具有快速原子append()和popleft()操作,不需要锁定.

我想我不太沉思:这是否意味着deque毕竟不是完全线程安全的？

如果是,我可能不完全理解这两个类之间的区别.我可以看到Queue添加了阻止功能.另一方面,它失去了一些deque功能,如支持运营商.

直接访问内部deque对象是

x在队列().deque

线程安全的？

另外,为什么当deque已经是线程安全的时候,Queue会使用互斥锁进行操作？

1> Keith Gaugha..：

---

Queue.Queue并collections.deque服务于不同的目的.Queue.Queue旨在允许不同的线程使用排队的消息/数据进行通信,而collections.deque只是用作数据结构.这就是为什么Queue.Queue有类似的方法put_nowait(),get_nowait()和join(),而collections.deque不会.Queue.Queue不打算用作集合,这就是为什么它缺乏in运营商的喜欢.

它归结为:如果你有多个线程,并且你希望它们能够在不需要锁的情况下进行通信,那么你正在寻找Queue.Queue; 如果您只想将队列或双端队列作为数据结构,请使用collections.deque.

最后,访问和操纵a的内部双端队员Queue.Queue正在玩火 - 你真的不想这样做.

---

不,这根本不是一个好主意.如果你看一下`Queue.Queue`的来源,它会在引擎盖下使用`deque`.`collections.deque`是一个集合,而`Queue.Queue`是一种通信机制.`Queue.Queue`的开销是使它线程安全.使用`deque`进行线程之间的通信只会导致痛苦的比赛.每当`deque`恰好是线程安全的时候,这就是解释器实现方式的一个幸福意外,而不是*依赖的东西.这就是为什么`Queue.Queue`首先存在的原因.

---

请记住，如果跨线程通信，则使用双端队列（deque）会惹火。由于存在GIL，双端队列是线程安全的*是偶然的*。不含GIL的实现将具有完全不同的性能特征，因此，折衷其他实现是不明智的。此外，您是否将Queue vs deque定时在各个线程中使用，而不是在单个线程中使用天真的基准测试？如果您的代码对Queue vs deque的速度很敏感，那么Python可能不是您想要的语言。

---

@fantabolous尽管我之前的评论，但我不太了解您将如何使用`deque`进行通信。如果将“ pop”包装到“ try / except”中，则将导致一个繁忙的循环，仅在等待新数据时便会占用大量CPU。与`Queue`提供的阻塞调用相比，这似乎是一种极其低效的方法，后者确保等待数据的线程进入睡眠状态，并且不会浪费CPU时间。

---

然后，您可能需要阅读Queue.Queue的源代码，因为它是使用`collections.deque`编写的：https://hg.python.org/cpython/file/2.7/Lib/Queue.py -它使用条件变量来有效地允许包装的'deque'在线程边界上安全有效地访问。源代码中有关于如何使用“双端队列”进行通信的说明。

2> Jonathan..：

---

如果您正在寻找的是一种在线程之间传输对象的线程安全方法,那么两者都可以工作(FIFO和LIFO都有).对于FIFO:

Queue.put()并且Queue.get()是线程安全的

deque.append()并且deque.popleft()是线程安全的

注意:

其他操作deque可能不是线程安全的,我不确定.

deque不会阻止pop()或不能阻止popleft()消费者线程流阻塞直到新项目到达.

但是,deque似乎具有显着的效率优势.以下是使用CPython 2.7.3插入和删除100k项目的几秒内的基准测试结果

deque 0.0747888759791
Queue 1.60079066852

这是基准代码:

import time
import Queue
import collections

q = collections.deque()
t0 = time.clock()
for i in xrange(100000):
    q.append(1)
for i in xrange(100000):
    q.popleft()
print 'deque', time.clock() - t0

q = Queue.Queue(200000)
t0 = time.clock()
for i in xrange(100000):
    q.put(1)
for i in xrange(100000):
    q.get()
print 'Queue', time.clock() - t0

---

好,谢谢.那阻止我使用双端队因为我认为你知道我没有的东西.我想我会假设它是线程安全的,直到我发现其他情况.

3> 小智..：

---

有关信息,请参阅deque thread-safety引用的Python票证(https://bugs.python.org/issue15329).标题"澄清哪种deque方法是线程安全的"

这里的底线:https://bugs.python.org/issue15329#msg199368

deque的append(),appendleft(),pop(),popleft()和len(d)操作在CPython中是线程安全的.append方法最后有一个DECREF(对于设置了maxlen的情况),但是在完成所有结构更新并且不变量已经恢复之后会发生这种情况,因此可以将这些操作视为原子操作.

无论如何,如果你不是100%确定并且你更喜欢可靠性而不是性能,那么就像锁一样;)