本文作者：旺德，阿里云数据库高级开发工程师

事务的概念在这篇文章中描述过，在分布式系统中，读写位于多个节点的数据，如果依旧想保证ACID特性，就必须实现分布式事务。而其实现关键则是适当的提交协议，目前最简洁，且使用最广泛的无疑是两阶段提交协议(2PC)。

1.实现分布式事务关键组件

单机系统通过事务管理器(transaction manager，TM)实现本地事务。分布式系统中，需要协调多个节点的事务管理器，共同提交成功或失败，因此需要事务协调者(transaction coordinator，TC)。一个分布式事务管理器，可以粗略地划分为这两个子系统。这两个子系统根据自己在事务执行中扮演的角色，也可称之为参与者与协调者。

本地事务管理器负责本机事务并发控制和异常恢复等功能，事务协调者负责开启事务，将事务划分为多个子事务分发到相应的节点执行，并协调事务完成(一起提交成功或失败)。在实现中，TM和TC可以实现在同一个进程中，也可以部署在不同的节点。

2.经典两阶段提交协议

两阶段提交的流程比较简单。当分布式事务T执行完成，即事务执行的各节点都告知协调者TC，事务已经执行完成，TC便开启两阶段提交流程。

Phase 1 Prepare：1.TC写本地日志，并持久化。TC向所有参与者发送Prepare T消息。

2.各参与者TM收到Prepare T消息，根据自身情况，决定是否提交事务。

• 如果决定提交，TM写日志并持久化，向TC发送Ready T消息。
• 如果决定不提交，TM写日志并持久化，向TC发送Abort T消息，本地也进入事务abort流程。

Phase 2 Commit :1.当TC收到所有节点的回应，或者等待超时，决定事务commit或abort。

• 如果所有参与者回应Ready T，则TC先写日志并持久化，再向所有参与者发送Commit T消息。
• 如果收到至少一个参与者Abort T回应，或者在超时时间内有参与者未回应，则TC先写日志，再向所有参与者发送Abort T消息。

2.参与者收到TC的消息后，写或日志并持久化。

两阶段提交协议可以保证分布式事务执行的一个关键点：参与者在向协调者发生Ready T消息前，随时都可以自己决定是否abort，一旦这个消息发送，那么这个事务就进入ready状态，commit和abort完全由协调者控制。Ready T消息本质上是参与者向协调者发送的一个郑重的、不可逆的承诺。为了保证这一个承诺，参与者需要在发送Ready T消息前将所有必要的信息持久化，否则如果参与者在发送Ready T后异常宕机，重启后可能无法遵守以上承诺。在第二阶段，当协调者写了或日志，整个事务的命运就被决定了，不会再发生变化了。

为了优化2PC性能，减少关键路径的持久化和RPC次数是关键，一种对经典2PC的优化思路如下：

协调者无状态，不再持久化日志，但是为了方便宕机重启后恢复事务状态，需要向每个参与者发送事务的参与者名单并持久化。这样即使协调者宕机，参与者也可以方便地询问其他参与者事务状态了。该思路相当于参与者在协调者宕机时，自己担当起协调者询问事务状态的任务。

只要所有参与者prepare成功，事务一定会成功提交。因此为了减少提交延时，协调者可以在收到所有参与者prepare成功后就返回客户端成功，但如此，读请求可能会因为提交未完成而等待，从而增大读请求的延时。反过来，如果协调者确认所有参与者都提交成功才返回客户端成功，提交延时比较长，但会减少读请求延时。

3.两阶段提交协议异常处理

两阶段提交协议的正常流程较为简单，但它还需要考虑分布式系统中各种异常问题(节点失败，网络分区等)。

1.如果协调者检测到参与者失败：

• 如果参与者在发送Ready T前失败，则协调者认为该节点事务Abort，并开始abort流程。
• 如果参与者在发送Ready T后失败，证明参与者本地事务已经持久化，协调者忽视参与者失败，继续事务流程。

2.如果参与者在事务提交过程中失败，其恢复过程，需要根据参与者日志内容，决定本地事务状态。

• 如果日志中包含日志，证明事务已经成功提交，REDO(T)。
• 如果日志中包含日志，证明事务已经失败，UNDO(T)。
• 如果日志中包含日志，参与者P需向其它节点咨询当前事务状态。
• 如果协调者正常，则向告知参与者P，事务已经commit或是abort，参与者依此REDO(T)或UNDO(T)。
• 如果协调者异常，则向其它参与者询问事务状态。
• 如果其他参与者收到信息，并已知事务是commit还是abort状态，需回复参与者P事务状态。
• 如果所有的参与者现在都不知道该事务的状态(事务上下文销毁了，或者自己也处于未决状态)，那么该事务处于暂时既不能commit也不能abort。需要定期向其它节点问询事务状态，直到得到答案。(这是2PC最不想遇到的一个场景)
• 如果日志中不包含上述几种日志，说明该参与者在向协调者发送Ready T消息前就失败了。由于协调者没有收到参与者的回应，会超时Abort，因此该参与者在恢复过程中，遇到这种情况也需要abort。

3.如果协调者在事务提交过程中失败。参与者需要根据全局事务状态(通过与其它参与者通信)决定本地行为。

(事务状态已经形成决议：)

• 如果至少有一个参与者中事务T已经提交(参与者包含日志)，说明T必须要提交。
• 如果至少有一个参与者中事务T已经Abort(参与者包含日志)，说明T必须要Abort。

(事务状态未形成决议：)

• 如果至少有一个参与者没有进入Ready状态(参与者不包含日志)。说明全局还未就提交与否达成协议。有两种选择：(1)等待协调者恢复。(2)参与者自行abort。为了减少资源占用时间，选择后者居多。
• 如果所有参与者都进入了Ready状态，且都没有或日志(事实上，即使有这些日志，查日志也是一种比较费的操作，还需要考虑日志回收的问题)，这种情况下，参与者谁都不知道现在事务的状态，只能死等协调者恢复。(又到了这个最不想遇到的场景)

当参与者均进入ready状态，等待协调者的下一步指令，协调者在这个时候出现异常，那么参与者将一直持有系统资源，如果基于锁实现的并发控制，还会一直持有锁，导致其他事务等待。这种情况如果持续较旧，会对系统产生巨大的影响。因此2PC最大的问题就是协调者失败，可能会导致事务阻塞，未决事务的最终状态，只能等待协调者恢复后才确定。同时在这种情况下，参与者宕机重启，回放到这类未决事务，也会因为死等而block recovery流程。

4.缓解2PC blocking思路

三阶段提交是两阶段提交的延伸，目的是解决2PC block的问题，但是也引入了其它问题。它的解决方式是为参与者引入timeout机制，如果参与者成功PreCommit后，一直收不到协调者最后的DoCommit请求，等待超时自动提交，显然这样会引入一致性问题，例如，协调者收到一个参与者PreCommit失败，打算发abort请求给其它参与者时宕机，显然此时该分布式事务应该失败，但一些参与者可能因为超时而提交。

为了解决这个问题，3PC多引进了一个阶段，就是第一个阶段CanCommit阶段，协调者询问所有参与者是否可以提交，参与者如果状态正常，就会回应可以提交，但此时并不会占用任何系统资源。如果协调者及时收到了所有参与者ok的回应，便会认为各个参与者正常，之后的提交应该不会失败。但是实质上，仍有小概率失败的可能：某参与者PreCommit失败后，协调者和参与者都宕机，其它参与者超时自动提交，产生不一致。

因此3PC还有一个关键优化是协调者宕机后，迅速找到一个继任者，继续未完的流程，尽量保证不会出现参与者超时提交的现象。但是如果出现诸如网络分区等异常，新的协调者联系不上参与者，还是会产生一致性问题。

3PC通过牺牲一定的C(onsistency)来提高A(vailability)，并且增加了网络开销，这些都是OLTP系统很难接受的，所以基本没有系统会采用。

但是协调者高可用，确实可以使block的时间大幅减少，基于诸如Paxos/Raft的一致性协议的高可用方案，可以让多个节点就commit/abort达成一致后，再去通知参与者，当协调者出现异常，可以迅速选出新的协调者，推进事务至完成。