一种高性能无锁队列设计

分布式与多核处理器在共享资源的情况下均要求在线程安全完成提交的任务，在多线程并发处理大量数据任务情况下为解决多生产者多消费者保证任务队列线程安全设计查找到一种高性能无锁队列设计，进行学习、研究。

主要问题—资源竞争

一个通用的无锁队列似乎相当容易实现。问题的根源在于相同的变量必然需要与多个线程共享。例如，采取一种基于链表的通用方法：至少需要共享列表的头部和尾部，因为消费者都需要能够读取和更新头部，而生产者都需要能够更新尾部。当多个线程需要更新队列但要求保持队列处于一致的状态下肯定会导致资源分互斥访问。例如，如果消费者从队列中读取最后一个任务节点并仅更新头部，尾指针不应该指向它，因为该任务节点很快就会被释放。但是消费者可能被操作系统打断，在更新尾部之前暂停几毫秒，在这段时间内，尾指针可以被另一个生产者更新，然后第一个消费者将其设置为null就太晚了。

解决共享数据安全访问是无锁编程的关键。通常最好的方法是设想一种算法，它不需要首先更新多个变量以保持一致性，或者增量更新仍然使数据结构保持一致状态。不同的技巧可以使用，如在指针的最后两位存储额外的状态，指针和引用计数等，但像这些方法只能越走越远，真正的解决办法是开发算法本身。

设计思路

更少的线程在相同的数据上进行斗争，必然降低开销。因此，不能使用一个单一的数据结构，进行所有的操作。如果每一个生产者线程对应一个队列，这意味着不同的线程是完全平行的，彼此独立。

当然，消费者获取任务稍微复杂一些，任务出队时我们必须检查每个任务队列。从不同队列中获取任务的顺序并不重要，而同一生产者产生的任务的相对顺序至始至终是一致的，尽管任务队列之间获取任务的相对顺序可能交错，但并无不可，因为即使在单队列模型中，不同生产者产生的任务入队的顺序也是不确定的（因为不同生产者之间有一个竞争条件）。这种方法的唯一缺点是，如果队列是空的，必须检查每个子队列以确定这一点（同时，在检查一个子队列的时候，以前空的队列可能已经变成非空），但实际上这不会造成问题。在非空的情况下，由于子队列可以与消费者“配对”，所以总体上的争用更少，数据共享达到接近最优的水平(每个消费者都与一个生产者匹配)，这个“配对”是使用一种启发式的方法，必须在任务出队期间保持某种状态——这是通过用户指定的“令牌”来完成的。注意，令牌是完全可选的——队列只返回到搜索每个队列中任务，只是在涉及多个线程时稍微慢一点。

每个队列中使用的核心算法不是基于节点链表(这意味着不断地分配和释放或重用元素，并且通常依赖于一个比较和交换的循环，在激烈的争用过程中可能会比较慢)，每个队列基于数组模型，没有链接单个元素，而是多个元素一个“块”。队列的逻辑头指针和尾指针使用原子递增的整数表示。在这些逻辑指针和“块”之间，存在一个将每个指针映射到该块中索引的方案。入队操作只是增加了尾部标记(每个子队列只有一个生产者线程)。出队操作增加了头部标记，如果头部小于尾部，然后检查是否意外地增加了头尾的头部(这可能发生在争用的情况下——每个子队列有多个消费线程)。如果头部超过了尾部，那么就会增加一个校正计数器(使队列最终保持一致)，如果不增加，它就会继续前进，并增加另一个整数，从而使它成为实际的最终逻辑索引。这个最终索引的增量总是在实际队列中生成一个有效的索引，不管其他线程在做什么或已经做了什么。这是有效的，因为只有当保证至少有一个元素被删除时，最终索引才会增加(当第一个索引被增加时，它会被检查)。

入队操作是通过单个原子增量完成的，而一个出队是快速地完成两个原子增量。当然，这需要对所有块分配、重用、引用计数、块映射的实现，这一点很重要，大多数的成本分摊到“块”上。这个设计允许极其高效的批量操作——原子的指令(这往往是一个瓶颈),一个块上入队n个任务的开销几乎和入队1个任务的开销相同，出队同理。这是真正的性能提升的原因。

生产者队列列表

该设计需要维护所有生产者队列（LIFO）列表，这个列表是使用尾指针和每个生产者的入队next指针来实现的。尾指针最初指向空;当一个新的生产者被创建时，它首先读取尾部，然后使用尾部的设置，然后使用CAS操作将尾部（如果它没有改变）设置到新的生产者。生产者不会从列表中删除，仅标记为不活动。当一个消费者想要出列时，它只需寻找一个带有元素的SPMC队列的生产者列表。

出队策略

消费者可以将令牌传递给出队操作。这个令牌的目的是加速选择一个合适的内部生产者队列，从中尝试出列队列。每个消费者都被分配一个自动递增的偏移量，代表它应该从中执行出队操作的生产者队列的索引。以这种方式，消费者尽可能公平地分配生产者队列。然而，并不是所有的生产者都有相同数量的可用元素，并且一些消费者可能消耗得比其他消费者快。为了解决这个问题，第一个消费者从同一个内部生产者队列中消耗了窗口大小个项目，所有消费者将在下一个出队操作时开始从下一个生产者队列出队。同时，如果消费者的指定队列中没有可用的元素，它将转到具有可用元素的下一个队列。这种简单的启发式算法非常高效，能够将消费者与生产者进行之间的资源竞争尽可能减少，从而带来出队性能提升。

注：详细设计可查看：http://moodycamel.com/blog/2014/detailed-design-of-a-lock-free-queue