记一次golang中sync.Map并发创建、读取的问题

cunfate

https://www.jianshu.com/p/f472e79909bc

背景：

我们有一个用go做的项目，其中用到了zmq4进行通信，一个简单的rpc过程，早期远端是使用一个map去做ip和具体socket的映射。

问题

大概是这样

struct SocketMap {sync.Mutexsockets map[string]*zmq4.Socket
}

然后调用的时候的代码大概就是这样的：

func (pushList *SocketMap) push(ip string, data []byte) {pushList.Lock()defer pushList.UnLock()socket := pushList.sockets[string]if socket == nil {socket := zmq4.NewSocket()//do some initial operation like connectpushList.sockets[ip] = socket}socket.Send(data)
}

相信大家都能看出问题：当push被并发访问的时候（事实上push会经常被并发访问），由于这把大锁的存在，同时只能有一个协程在临界区工作，效率是会被大大降低的。

解决方案：会带来crash的优化

所以我们决定使用sync.Map来替代这个设计，然后出了第一版代码，写的非常简单，只做了简单的替换：

struct SocketMap {sockets sync.Map
}func (pushList *SocketMap) push(ip string, data []byte) {var socket *zmq4.Socket    socketInter, ok = pushList.sockets.Load(ip)if !ok {socket = zmq4.NewSocket()//do some initial operation like connectpushList.sockets.Store(ip, socket)} else {socket = socketInter.(*zmq4.Socket)}socket.Send(data)
}

乍一看似乎没什么问题？但是跑起来总是爆炸，然后一看log，提示有个非法地址。后来在github上才看到，zmq4.Socket不是线程安全的。上面的代码恰恰会造成多个线程同时拿到socket实例，然后就crash了。

解决方案2：加一把锁也挡不住的冲突

然后怎么办呢？看来也只能加锁了，不过这次加锁不能加到整个map上，否则还会有性能问题，那就考虑减小锁的粒度吧，使用锁包装socket。这个时候我们的代码也就呼之欲出了：

struct SocketMutex{sync.Mutexsocket *zmq4.Socket
}
struct SocketMap {sockets sync.Map
}func (pushList *SocketMap) push(ip string, data []byte) {var socket *SocketMutex    socketInter, ok = pushList.sockets.Load(ip)if !ok {socket = &{socket: zmq4.NewSocket()}//do some initial operation like connectpushList.sockets.Store(ip, newSocket)} else {socket = socketInter.(*SocketMutex)}socket.Lock()defer socket.Unlock()socket.socket.Send(data)
}

但是这样还是有问题，相信经验比较丰富的老哥一眼就能看出来，问题处在socketInter, ok = pushList.sockets.Load(ip)这行代码上，如果map中没有这个值，且有多个协程同时访问到这行代码，显然这几个协程的ok都会置为false，然后都进入第一个if代码块，创建多个socket实例，并且争相覆盖原有值。
单纯解决这个问题也很简单，就是使用sync.Map.LoadOrStore(key interface{}, value interface{}) (v interface{}, loaded bool)这个api，来原子地去做读写。
然而这还没完，我们的写入新值的操作不光是调用一个api创建socket就完了，还要有一系列的初始化操作，我们必须保证在初始化完成之前，其他通过Load拿到这个实例的协程无法真正访问socket实例。
这时候显然sync.Map自带的机制已经无法解决这个问题了，那么我们必须寻求其他的手段，要么锁，要么就sync.WaitGroup或者whatever的其他什么东西。

解决方案3：闭包带来的神奇体验

后来经大佬指点，我在encoder.go中看到了这么一段代码：

 346 func typeEncoder(t reflect.Type) encoderFunc {                                 347     if fi, ok := encoderCache.Load(t); ok {                                     348         return fi.(encoderFunc)                                                349     }                                                                          350                                                                                351     // To deal with recursive types, populate the map with an                  352     // indirect func before we build it. This type waits on the                353     // real func (f) to be ready and then calls it. This indirect              354     // func is only used for recursive types.                                  355     var (                                                                      356         wg sync.WaitGroup                                                      357         f  encoderFunc                                                         358     )                                                                          359     wg.Add(1)                                                                  360     fi, loaded := encoderCache.LoadOrStore(t, encoderFunc(func(e *encodeState, v reflect.Value, opts encOpts) {361         wg.Wait()                                                              362         f(e, v, opts)                                                          363     }))                                                                        364     if loaded {                                                                365         return fi.(encoderFunc)                                                366     }                                                                          367                                                                                368     // Compute the real encoder and replace the indirect func with it.         369     f = newTypeEncoder(t, true)                                                370     wg.Done()                                                                  371     encoderCache.Store(t, f)                                                   372     return f                                                                   373 }

豁然开朗，我们可以在sync.Map中存放一个闭包函数，然后在闭包函数中等待本地的sync.WaitGroup完成再返回实例。于是最终的代码也就成型了。

struct SocketMutex{sync.Mutexsocket *zmq4.Socket
}
struct SocketMap {sockets sync.Map
}func (pushList *SocketMap) push(ip string, data []byte) {type SocketFunc func()*SocketMutexvar (socket *SocketMutexw sync.WaitGroup)socket = &SocketMutex {socket : zmq4.NewSocket()}    w.Add(1)socketf, ok = pushList.sockets.LoadOrStore(ip, SocketFunc(func()*SocketMutex) {w.Wait()return socket})if !ok {socket = &{socket: zmq4.NewSocket()}//do some initial operation like connectw.Done()} else {socket = socketInter.(*SockeFunc)()}socket.Lock()defer socket.Unlock()socket.socket.Send(data)
}

总结：

并发代码中的竞争问题，每一行代码的重入性都要深思熟虑啊。
总的来说要保持以下几个准则：

（1）不可重入访问的系统资源，如socketfd, filefd，signalfd（事实上大多数这种系统资源都是不可重入的）等，在使用无锁结构的容器、读写锁封装的容器时，需要给每个资源单独加锁或者使用其他手段保证系统资源在临界区受到有效保护。

（2）如果有读取，如果为空则写入的逻辑，需要使用能提供原子性保证的LoadOrSave调用，或者没有的话，自己实现也要保证读取和写入过程整体的原子性；防止并发访问Load调用时，多个线程都返回否而创建多个实例，然后在Save的时候又互相覆盖。——这个原则不光对成员是系统资源的时候生效，如果存放的是其他东西也同样适用。

（3）如果资源创建完毕，还需要其他的初始化过程，则可以考虑在容器内放置闭包，初始化过程使用sync.WaitGroup保护，在闭包中调用Wait方法等待初始化完成再给其他线程返回初始化好的实例。而初始化过程完成后，可以置换闭包函数，不再调用Wait方法，来减少可能的开销。