新人如何快速上手新项目？

按楼主的经验和知识，本文总结了应用开发中的各种存储架构，从易到难，从起步到起飞。如有不对之处，欢迎留言。

1、单库

最简单的初始架构，适用于千万级以下的数据，并发量低的场景。

单库、单表
或单库、多个分表：之所以分表是为了给后续分库做预留准备

2、分库分表、读写分离

最常见的存储架构，适用于十亿级别以下的数据（单表控制在千万级别或以下），并发量较大、主备高可用的场景。

分库分表：对业务id（如用户id、商户id）取模，散列到各个分库的分表中
读写分离：适用于读多写少的场景，利用数据库一主多从的方式，提高并发量，对主库读写，对从库只读

此时还需要分片中间件来实现对分库分表的读写分离访问，有2种类型：

client侧分片：较为常见，以jar包库的方式内嵌在服务中，需要与所有的数据库实例，各自建立和维护连接池，性能好
proxy侧分片：proxy是一个数据库访问中间层服务，应用与proxy建立少量连接，proxy与所有的数据库实例建立连接，优点是对应用开发简单透明，缺点是有性能损耗、需要专门的团队维护

client侧分片

proxy侧分片

3、引入缓存

高并发标配，当QPS高到只靠mysql扛不住流量时引入，适用于高并发、流量尖峰的场景

本地缓存（堆内缓存、或堆外缓存）：如caffeine、ehcache、guava等
分布式缓存：如Redis集群

缓存查询：先查本地缓存，如果查不到再查Redis并写入本地缓存和Redis，如果Redis也查不到再查数据库并写入本地缓存和Redis
缓存更新：数据库更新后，触发变更消息，通过消息驱动更新Redis

4、冷热数据分离

引入多级存储，保证热数据量可控、读写迅速，冷数据全量储存，适用于数据量巨大、增长迅速，且分库分表已经不能解决的场景。

MySQL热数据：优先读写mysql，预期能覆盖绝大部分QPS
Hbase冷数据：从mysql查询不到数据时，才查询hbase，hbase可支持海量数据的存储和查询，预期只有少量QPS
归档：定期把数据从mysql归档至hbase，mysql只保留最新的热数据，hbase存储全量数据

5、引入搜索引擎、离线查询

适用于复杂条件的查询、或对运营类统计有需求的场景，此时mysql索引已不能满足高效查询，且会影响在线业务。

引入ElasticSearch：可支持各种条件的灵活查询，再也不用担心mysql因为缺少合适索引而造成慢查询的问题了
大数据分析：引入hive数仓做离线查询，需要把mysql的数据同步至hive

最终架构图

从单库，逐步演化成各种存储紧密配合，满足不同的需求和场景。切勿为了架构而架构，选择适合自己的、能解决实际问题的架构，才最重要。

新人如何快速上手新项目？相关推荐

如何快速上手新项目？
如何快速上手新项目? 我觉得可以遵循以下几个步骤: 1. 获取项目相关信息进入一家新公司后,如果遇到不负责任的同事呢,可能直接甩给你项目地址,然后就让你自己研究了.这就好比产品经理直接甩给你一个需求 ...
研发新人如何快速熟悉新项目和业务
进入一家新公司后,最头疼的就是如何快速了解公司的业务和项目架构. 如果碰到一个特别热心的老员工,事无巨细地给你讲,随时在你身边答疑解惑,那可能还好.但很可惜,我没有碰到这样的人,在加入新公司后,带我的 ...
快速上手Springboot项目（登录注册保姆级教程）
本文章对SpringBoot开发后端项目结构做了简单介绍,并示范了使用SpringBoot+MySQL实现登录的后端功能,与本博客的另一篇文章 Vue 实现登录注册功能(前后端分离完整案例) | Ma ...
HTML5游戏引擎（二）02-egret引擎之hello world——快速上手-清理项目程序入口绘制单色背景调整屏幕的适配模式添加文字响应用户操作-让文字变色
HTML5游戏引擎(二)02-egret引擎之hello world--快速上手-清理项目 & 程序入口 & 绘制单色背景 & 调整屏幕的适配模式 & 添加文字 &am ...
测试工程师如何快速上手新工作
测试工程师如何快速上手新工作测试工程师换到一份新工作,如何快速进入状态呢,自己最近换了新工作,踩过了很多坑才度过了适应期.为此分享一些自己的心得,供大家借鉴,主要有以下几点: 1.在新工作的第一天, ...
iOS runtime实用篇：让你快速上手一个项目
2019独角兽企业重金招聘Python工程师标准>>> 前言: 对于一个大项目而言,最烦恼的就是在众多界面难以找到对应的viewController,要改个东西都要花好长的时间去找对 ...
程序员快速熟悉新项目和业务逻辑的技巧
很多新人进入一家新公司后或进入一个新的项目组,最头疼的就是如何快速了解公司的业务和项目架构,或者说不要求快速,即便有足够的时间,也很难在庞大的业务中整理出思绪.当然,如果你碰到一个特别热心的老员工,事 ...
如何快速上手一个项目
作者:Jim Jin 链接:https://www.zhihu.com/question/38865497/answer/108163546 来源:知乎著作权归作者所有,转载请联系作者获得授权. 不 ...
前端工程化: 脚手架+物料库快速生成新项目
零.前言美团有乐高, 京东有通天塔,阿里有飞冰,大厂都在尝试用自动化工具减少人工,看完这一篇,考虑给你的团队搭建一套自动化开发工具吧! 一.背景笔者所在公司并非大厂, 发现一些痛点. 1.前端研发 ...