一个在线2k的游戏,每秒钟并发都吓死人。传统的hibernate直接插库基本上是不可行的。我就一步步推导出一个无锁的数据库操作。

1. 并发中如何无锁。

一个很简单的思路,把并发转化成为单线程。Java的Disruptor就是一个很好的例子。如果用java的concurrentCollection类去做,原理就是启动一个线程,跑一个Queue,并发的时候,任务压入Queue,线程轮训读取这个Queue,然后一个个顺序执行。

在这个设计模式下,任何并发都会变成了单线程操作,而且速度非常快。现在的node.js, 或者比较普通的ARPG服务端都是这个设计,“大循环”架构。

这样,我们原来的系统就有了2个环境:并发环境 + ”大循环“环境

并发环境就是我们传统的有锁环境,性能低下。

”大循环“环境是我们使用Disruptor开辟出来的单线程无锁环境,性能强大。

2. ”大循环“环境 中如何提升处理性能。

一旦并发转成单线程,那么其中一个线程一旦出现性能问题,必然整个处理都会放慢。所以在单线程中的任何操作绝对不能涉及到IO处理。那数据库操作怎么办?

增加缓存。这个思路很简单,直接从内存读取,必然会快。至于写、更新操作,采用类似的思路,把操作提交给一个Queue,然后单独跑一个Thread去一个个获取插库。这样保证了“大循环”中不涉及到IO操作。

问题再次出现:

如果我们的游戏只有个大循环还容易解决,因为里面提供了完美的同步无锁。

但是实际上的游戏环境是并发和“大循环”并存的,即上文的2种环境。那么无论我们怎么设计,必然会发现在缓存这块上要出现锁。

3. 并发与“大循环”如何共处,消除锁?

我们知道如果在“大循环”中要避免锁操作,那么就用“异步”,把操作交给线程处理。结合这2个特点,我稍微改下数据库架构。

原本的缓存层,必然会存在着锁,例如:

public TableCache

{
  private HashMap<String, Object> caches = new ConcurrentHashMap<String, Object>();
}

这个结构是必然的了,保证了在并发的环境下能够准确的操作缓存。但是”大循环“却不能直接操作这个缓存进行修改,所以必须启动一个线程去更新缓存,例如:

private static final ExecutorService EXECUTOR = Executors.newSingleThreadExecutor();

EXECUTOR.execute(new LatencyProcessor(logs));

class LatencyProcessor implements Runnable

{

  public void run()
  { 

    // 这里可以任意的去修改内存数据。采用了异步。
  }
}

OK,看起来很漂亮。但是又有个问题出现了。在高速存取的过程中,非常有可能缓存还没有被更新,就被其他请求再次获取,得到了旧的数据。

4. 如何保证并发环境下缓存数据的唯一正确?

我们知道,如果只有读操作,没有写操作,那么这个行为是不需要加锁的。

我使用这个技巧,在缓存的上层,再加一层缓存,成为”一级缓存“,原来的就自然成为”二级缓存“。有点像CPU了对不?

一级缓存只能被”大循环“修改,但是可以被并发、”大循环“同时获取,所以是不需要锁的。

当发生数据库变动,分2种情况:

1)并发环境下的数据库变动,我们是允许有锁的存在,所以直接操作二级缓存,没有问题。

2)”大循环“环境下数据库变动,首先我们把变动数据存储在一级缓存,然后交给异步修正二级缓存,修正后删除一级缓存。

这样,无论在哪个环境下读取数据,首先判断一级缓存,没有再判断二级缓存。

这个架构就保证了内存数据的绝对准确。

而且重要的是:我们有了一个高效的无锁空间,去实现我们任意的业务逻辑。

最后,还有一些小技巧提升性能。

1. 既然我们的数据库操作已经被异步处理,那么某个时间,需要插库的数据可能很多,通过对表、主键、操作类型的排序,我们可以删除一些无效操作。例如:

a)同一个表同一个主键的多次UPdate,取最后一次。

b)同一个表同一个主键,只要出现Delete,前面所有操作无效。

2. 既然我们要对操作排序,必然会存在一个根据时间排序,如何保证无锁呢?使用

private final static AtomicLong _seq = new AtomicLong(0);

即可保证无锁又全局唯一自增,作为时间序列。

一级缓存只会被“大循环”操作。
当数据库数据变动,“大循环”首先更新一级缓存,然后交给异步更新二级缓存,最后删除一级缓存。
读取的时候,先读取一级缓存,如果没有再读取2级缓存。

在一个极短的时间内,当“大循环”内存修改了数据还没有来得及更新一级缓存,这个时候并发需要读取操作,自然从二级缓存获取,那就有脏数据。

这个时候有2种策略:
1. 悲观锁,从数据被获取的时候一直加锁。这个方法我不推荐,性能低下并且容易有死锁。
2. 乐观锁。当需要修改数据的时候,判断是否脏数据,如果是就抛异常。这个做法推荐,而且现在大部分的高并发都是这个做法。

转载于:https://www.cnblogs.com/feiye512/p/5379403.html

如何在高并发环境下设计出无锁的数据库操作(Java版本) 转载相关推荐

  1. java 无锁缓存_如何在高并发环境下设计出无锁的数据库操作(Java版本)

    一个在线2k的游戏,每秒钟并发都吓死人.传统的hibernate直接插库基本上是不可行的.我就一步步推导出一个无锁的数据库操作. 1. 并发中如何无锁. 一个很简单的思路,把并发转化成为单线程.Jav ...

  2. oom 如何避免 高并发_【高并发】高并发环境下如何防止Tomcat内存溢出?看完我懂了!!...

    [高并发]高并发环境下如何防止Tomcat内存溢出?看完我懂了!! 发布时间:2020-04-19 00:47, 浏览次数:126 , 标签: Tomcat 写在前面 随着系统并发量越来越高,Tomc ...

  3. java支付宝支付_Java 高并发环境下的性能优化,揭秘支付宝技术内幕

    前言 高并发经常会发生在有大活跃用户量,用户高聚集的业务场景中,如:秒杀活动,定时领取红包等. 为了让业务可以流畅的运行并且给用户一个好的交互体验,我们需要根据业务场景预估达到的并发量等因素,来设计适 ...

  4. 【高并发】高并发环境下构建缓存服务需要注意哪些问题?我和阿里P9聊了很久!...

    写在前面 周末,跟阿里的一个朋友(去年晋升为P9了)聊了很久,聊的内容几乎全是技术,当然了,两个技术男聊得最多的话题当然就是技术了.从基础到架构,从算法到AI,无所不谈.中间又穿插着不少天马行空的想象 ...

  5. 高并发环境下,6个构建缓存服务需要注意的问题

    摘要:高并发环境下如何构建缓存服务,你知道吗? 本文分享自华为云社区<[高并发]高并发环境下构建缓存服务需要注意哪些问题?>,作者:冰 河. 缓存特征 (1)命中率:命中数/(命中数+没有 ...

  6. 【高并发】高并发环境下构建缓存服务需要注意哪些问题?我和阿里P9聊了很久!

    写在前面 周末,跟阿里的一个朋友(去年晋升为P9了)聊了很久,聊的内容几乎全是技术,当然了,两个技术男聊得最多的话题当然就是技术了.从基础到架构,从算法到AI,无所不谈.中间又穿插着不少天马行空的想象 ...

  7. 高并发环境下如何优化Tomcat性能?看完我懂了!

    来自:冰河技术 写在前面 Tomcat作为最常用的Java Web服务器,随着并发量越来越高,Tomcat的性能会急剧下降,那有没有什么方法来优化Tomcat在高并发环境下的性能呢? Tomcat运行 ...

  8. 【高并发】在高并发环境下该如何构建应用级缓存?

    来自:冰河技术 写在前面 随着我们的系统负载越来越高,系统的性能就会有所下降,此时,我们可以很自然地想到使用缓存来解决数据读写性能低下的问题.但是,立志成为资深架构师的你,是否能够在高并发环境下合理并 ...

  9. 在高并发环境下该如何构建应用级缓存

    摘要:立志成为资深架构师的你,是否能够在高并发环境下合理并且高效的构建应用级缓存呢? 本文分享自华为云社区<[高并发]在高并发环境下该如何构建应用级缓存?>,作者:冰 河. 随着我们的系统 ...

最新文章

  1. SQLite 日期类型(转)
  2. Hadoop数据仓库工具——Hive
  3. 软件视频会议Vidyo体验
  4. CCF NOI1063 计算组合数
  5. 【干货】Linux 运维故障排查思路,有这篇文章就够了
  6. 【(Python解释器、Pycharm)安装教程】【使用PyCharm编写第一个Python程序】
  7. php width,PHP imagefontwidth()用法及代码示例
  8. 【Mac】mac移动查找的图片到某个目录
  9. ASP.NET Core MVC 2.x 全面教程_ASP.NET Core MVC 18. 基于Claim和Policy的授权 下 - 自定义Policy...
  10. 前端精英你是什么样的呢
  11. 三、python解释器下载及安装手册
  12. 01 LeNet-5论文笔记-Gradient-Based Learning Applied to Document Recognition
  13. linux qt qpa linuxfb,Linux qt qt.qpa.plugin: Could not load the Qt platform plugin xcb error解决方...
  14. 电子病历系统源码 医院管理系统源码
  15. C#WinForm程序 窗口不在任务栏显示的处理方法
  16. 「硬见小百科」100个示波器基础知识问答
  17. java中的math.abs_java – Math.abs(a – b)的更快实现 – Math.abs(c – d)?
  18. 《工业控制网络安全技术与实践》一第1章 绪  论
  19. PRML 1.1 多项式曲线拟合
  20. 35岁被称为中年男人,失业之后可以做些什么

热门文章

  1. ASP.NET服务器端控件原理分析
  2. linkbutton控件中使用CommandName属性和CommandArgument属性
  3. 算一算是一年中的第几天
  4. Python+Django+Eclipse 在Windows快速Blog
  5. spring6:bean的生命始末方法
  6. python email模块
  7. 从构建分布式秒杀系统聊聊验证码
  8. python学习中的bug
  9. 信息系统定级与备案工作介绍
  10. 那些年Android黑科技③:干大事不择手段