关于如何构建千万级别用户的后台数据库架构话题，在ITPUB及CSDN论坛都有不少网友提问，新型问答网站知乎上也有人提问，并且顺带梳理了下思路，方便更多的技术朋友有章可循，整理一篇抛砖引玉性的文章。

一、技术朋友给出的背景资料：

(1).     网站型应用，主要指：SNS社交网站、新闻门户型网站、邮件系统、SNS Game社交游戏、电子商务网站、即时通信IM等类型系统；

(2).     注册用户为千万级别，也即1KW注册用户以内；

二、要求

构建千万级别用户的后台数据库架构分析思路，对数据层架构设计的有章可循，必须考虑数据量的大小，以及数据库提供服务的性能和系统的可靠性，适当地考虑用户量超过，以及需要使用的服务器资源等信息。

三、构建千万级别用户的后台数据库架构的分析思路

曾经发过一篇文章，关于千万级别用户应用架构设计的歌谣，供大家参考 千万级架构设计诀窍，接下来我们针对如何构建千万级别用户的后台数据库架构，给出通用性分析思路的建议，未必完全靠谱，但求基本靠谱（注：毕竟很多事情需要看具体业务而定的）：

(1).     一定要区分业务类型，可能达到千万用户级别的应用业务场景，可归类描述为： SNS社交平台、SNS社交游戏、即时通信IM系统、电子商务、邮件系统、新闻门户网站等，这些不同类型的业务场景做法会不一样，主要是由他们业务性质决定，后续分析项中逐一描述；

(2).     应用业务的核心KPI数值，产品每天的日活跃用户量大概多少？若是网站类型应用，还需要加入其他参数PV,UV等数据辅助决策，即时通信IM的消息量，邮件系统的新增邮件数，SNS社交平台的Feeds量等核心数据；

(3).     系统中每个用户可能产生的数据量大概多大，分固定部分，以及动态部分的方式统计分析，对非固定部分以参考值和结合实践跨度（注释：1年为硬性指标，2年为预期，3年可选，再长的时间段不考虑）的方式进行分析，然后预测出整个系统的用户锁产生的数据条数和数据容量大概的估值；

(4).     注册用户并不等于活跃用户，为此需要预估日活跃用户量大概多少？周活跃用户量大概？月活跃用户量大概多少？系统设计的最高并发量为多少？这数字还是非常有必要，不管是对数据量预估，还是对技术实现方案的选择都有帮助；

(5).     根据应用业务的特点，以及系统不同模块的功能特点，初期必须判断出可能负载最大的系统模块，对于可以静态化模块或功能，尽量要Cache起来，以降低系统的负载和提高前端响应速度；若是非Cache技术能解决的，是否可以考虑独立或通过整体水平扩展方式解决系统的负载和性能问题；

(6).     针对系统中各个模块的功能或业务特点，大致那些用户数据会累计比较大，以及那些数据操作频率比较高；

(7).     不同的业务其对数据操纵不一样，要大致明白自己的应用：读写比如关系，也即：SELECT:UPDATE:DELETE:UPDATE=？；

(8).     系统的整体架构中，必须考虑系统的稳定性、负载均衡和响应速度，为此必须考虑一些模块借助Cache、异步、消息队列等技术，进行一些特殊处理或折中做法，以达到目标；

(9).     若使用MySQL数据库产品作为后台数据库提供数据服务，建议尽量使简洁的SQL语句，并不是说不用JOIN，而是要考虑MySQL对JOIN的实现算法，符合Nested loop join优缺点中的优点；

(10). 数据库结构设计

既然说是构建千万级别用户的后台数据库架构，前面讲清楚如何熟悉和理解业务模型，清楚系统可能存在的瓶颈、技术难度，以及一些技术实现方案，现在必须回归到数据库设计阶段。

开始讨论如何收集、分析和设计数据库结构之前，我们先简单地对数据库，什么情况下要考虑进行水平拆分？尤其针对互联网行业流行的数据库产品MySQL来讨论，各大数据库技术论坛或个人博客型技术网站，有不少名言式的基调：数据量超过100W，就需要分表，MySQL无法支持大数据量的服务等等？

以前的MySQL（主要指：MySQL5.0以前版本）版本确实存在诸多问题，以及当时跑MySQL的服务器一般都是超低配置，还依然记得当时我们的数据库服务器最高也就8G内存，一般都是2G内存，硬盘都是单盘且转速是10K，甚至7500转的，而当时大多主流数据库产品Oracle跑的服务器配置却很少这么差。我们大家要一时俱进，技术人员尤其DBA或架构师，要学会以数据说话，以其中一测试用例，DELL 2950 4*15K*146G RAID1+0 ，16G内存，E5410 CPU*2 ，一张分31个分区的区表业务模型只有INSERT+SELECT，且以50个INSERT+10个SELECT线程并发执行，总记录写入数据量6KW行左右，单表数据容量超过100G，并发从最高的9100 TPS/S下降到8700 TPS/S之后就稳定在此值。

上面论述MySQL支持大表并没有太大的性能方面的下降，但是并不表示笔者建议大家这么做，至少有二点MySQL的备份和数据库结构变更非常麻烦，尤其数据库结构变更其特殊的做法，使其成为一大瓶颈，也不知道要牺牲我们多少DBA的睡眠，具体的信息大家可以参考文章MySQL数据库生产环境维护，但是对于新闻内容的存储需求，可以把新闻主题内容单独放到一张表中，以子表的方式存在，提供数据服务器，且该数据很少做变更，一般情况下是INSERT之后就只有读为主，那么就不会是任何问题，阿里巴巴旺旺弹出的新闻页面的内容就是采用此方式存储，当时单表容量接近1T，早高峰的时候也不会出现服务器性能问题，以及系统负载都非常稳定。

我们继续回到构建千万级别用户的后台数据库架构的话题上，具体建议或做法如下所示：

10.1> 数据库的设计开始之前，必须优先进行业务的数据流梳理（注释：必须尽量考虑应用所有可能的功能模块），以及对业务优先进行优化和规划，然后根据数据流和功能 考虑数据库的结构设计和优化；

10.2> 千万级别用户量，若是非游戏行业的产品（SNS游戏除外），建议考虑用户数据拆分架构设计，以及考虑后续未来1-2年的承受量，若是SNS平台必须考虑拆分，除非考虑上SSD、Fusion-io、存储等更高端的设备，用金钱换时间的方式支持技术改造；

10.3> 数据拆分的核心与难处：同一个用户的数据尽量放一起（拆分规则要尽量简单可执行），拆分之后用户关系的数据如何保存的抉择有多种（存2份或存1份放一个地方），难处数据的分页，统计合并等；

10.4> 要考虑一些冗余的方式解决SQL性能问题，但是又不能过多引入冗余而造成IO开销增加太多，冗余字段要尽量整型字段；

10.5> 数据库表对象的字段属性，要尽量考虑数字化，尤其游戏行业；

10.6> 数据库设计过程中，对于索引组织结构要偏向共同操作最优先，其次应用外部用户级别的操作性能优先，最后内部用户的操作，硬尽量隔离，例如：搜索引擎Build操作、内部编辑团队审核等操作；

10.7> 数据库要从设计角度规避一些无法通过其他技术手段解决的模糊查询，类似全文索引的模糊查询，要走搜索引擎的模式，再通过数据库读具体的数据，一些必要的计数类型的数据，适当地考虑缓存；

10.8> 重点解决数据库级别的数据分页问题，要学会从前端应用用户的体验不降低的情况下，达到更高效的数据分页做法，类如论坛中帖子分楼的做法；

10.9> 数据库的设计必须考虑使用什么类型配置的物理服务器，核心参数：内存、CPU、硬盘（这个是关键：硬盘类型（注： SATA、SAS、SSD）、多少块盘、转速、容量，以及做RAID几），RAID卡内存及RAID写模式也需要考虑进去，必须结合数据量和读写能力要求进行一个预算规划，不一定超准确，但是要八九不离十；

【结束】

主要是想通过回答网友的提问“如何构建千万用户级别后台数据库”，把对于此类用户级别通用性分析和设计的思路描述清楚，实在不善于文字描述，可能很多地方没有讲述到位，还请各位一起补充完毕和纠正。

如何构建千万用户级别 后台数据库架构设计的思路相关推荐

  1. 千万PV级别WEB站点架构设计

    高性能与多级容灾WEB站点架构: 容灾要求: 接入层容灾.逻辑层容灾.数据层容灾 数据层包括: NoSQL集群.MySQL集群.分布式文件存储.日志采集分析与存储 过载保护: 接入层过载保护.业务逻辑 ...

  2. 数据库架构设计——分布式数据库设计

    摘要 现在互联网应用已经普及,数据量不断增大.对淘宝.美团.百度等互联网业务来说,传统单实例数据库很难支撑其性能和存储的要求,所以分布式架构得到了很大发展.一定要认识到数据库技术正在经历一场较大的变革 ...

  3. 【大型分布式网站】抗住千万流量的大型分布式系统架构设计

    一.大型分布式网站架构技术 1.1 大型网站的特点 用户多,分布广泛 大流量,高并发 海量数据,服务高可用 安全环境恶劣,易受网络攻击 功能多,变更快,频繁发布 从小到大,渐进发展 以用户为中心 免费 ...

  4. 无限容量数据库架构设计

    花了不少时间,把自己曾经做过的系统,曾经遇到到的问题,曾经实践过的架构方案,梳理总结和沉淀,尽量"系统的"记录成文字,和大家一起讨论. 本文是不同业务场景下,体系化的介绍" ...

  5. 云盘数据库设计mysql_一份最实用的云数据库架构设计与实践指南（内含PPT）

    原标题:一份最实用的云数据库架构设计与实践指南(内含PPT) Tips:点击文末[阅读原文]或登陆云盘:http://pan.baidu.com/s/1bo9Ni7l 即可下载5月21日DBAplus ...

  6. 典型数据库架构设计与实践 | 架构师之路

    转载自微信公众号[架构师之路] 本文,将介绍数据库架构设计中的一些基本概念,常见问题以及对应解决方案,为了便于读者理解,将以"用户中心"数据库为例,讲解数据库架构设计的常见玩法. ...

  7. 数据库架构设计与优化

    数据库架构设计与优化 导航: 数据库架构设计与优化 一. 影响数据库性能的原因 1.1 影响数据库的因素 1.2 影响MYSQL性能的因素有哪些? 1.3 事务 二. 什么影响了MYSQL性能 2.1 ...

  8. 百万用户级游戏服务器架构设计

    百万用户级游戏服务器架构设计 服务器结构探讨 -- 最简单的结构 所谓服务器结构,也就是如何将服务器各部分合理地安排,以实现最初的功能需求.所以,结构本无所谓正确与错误:当然,优秀的结构更有助于系统的 ...

  9. 数据库设计：用户登录系统数据库表设计

    用户登录系统数据库表设计 最近看了看公司后台用户登录系统的设计, 比较混乱, 主要还是因为URS和Oauth以及URS第三方这三个登录形式各不相同导致的. 下面着重介绍一下涉及到第三方登录中需要注意的 ...

最新文章

  1. uc的剪切板能关掉吗_关掉网络游戏，小孩就有美好的未来吗？
  2. 边缘计算将吞掉云计算！
  3. LinksysWrt1900acs刷官方镜像并开启FTP
  4. [汇编语言]用[bx+idata]的方式进行数组的处理-字母大小写转换
  5. 支付宝双11狂欢幕后的女程序员：服务全球12亿人，每天和不法分子打攻防战
  6. 隐藏PHP扩展名-修改apache
  7. Wpf ListBox数据绑定实例1--绑定字典集合
  8. 我整理的一份来自于线上的Nginx配置（Nginx.conf），希望对学习Nginx的有帮助
  9. c++ opencv4.5.0 头文件_简单的C程序分析（first.c程序）
  10. 初级python程序实例
  11. Android反编译添加组件,Android 反编译工具
  12. ant design loading 使用
  13. Windows 提示“缺少所需的 CD/DVD 驱动器设备驱动程序”
  14. 如何看计算机几核,如何查看电脑CPU是几核的？，这几步你要了解
  15. 腾讯云TVP大数据之约活动归来
  16. Auto CAD：图纸常用线宽、线型表之详细攻略
  17. AirPods 2支持无限充电只要15分钟充满
  18. arcgis 矢量编辑过程时，防止误移动操作设置粘滞移动容差设置大一点
  19. 分布式分布式框架相关解析
  20. poky: qmmp_0.5.2.bb的问题以及修改方法。

热门文章

  1. 【《Unity 2018 Shaders and Effects Cookbook》翻译提炼】（三）法线贴图和透明材质
  2. 2003-2020年中国对外直接投资流量(分191个国家地区) OFDI
  3. 【网格黑科技】扒一扒你所不知道的Cast-Designer网格黑科技
  4. 解决新版chrome无法手动拖动安装插件
  5. matlab khatri rao积,Khatri-Rao乘积
  6. (旺财记账项目)Vue 全局数据管理（下）之Vuex
  7. 21考研双非上岸东南大学苏州联合研究生院的经验贴
  8. php红包互助源码_分享朋友圈奖红包的微擎应用源码 php版 v2.0
  9. hdu-2073-无限的路
  10. dlsym 动态调用动态链接库