拉勾网《32个Java面试必考点》学习笔记之十一------消息队列与数据库

本文为拉勾网《32个Java面试必考点》学习笔记.只是对视频内容进行简单整理,详细内容还请自行观看视频《32个Java面试必考点》.若本文侵犯了相关所有者的权益,请联系:txzw@live.cn.将会删除相关内容

消息队列与数据库

知识点汇总

消息队列

RabbitMQ

ActiveMQ

RocketMQ

kafka

数据库

关系型数据库

NoSQL(Not Only SQL)

NewSQL

数据库范式

知识详解

Kafka架构

Kafka消息生产/生产流程

数据库事务

事务特性

事务并发问题与隔离级别

事务分类

MySQL

索引

MySQL调优

考察点

加分项

真题汇总

知识点汇总

消息队列

RabbitMQ

Erlang开发的开源消息队列,通过Erlang的Actor模型,实现了数据的稳定可靠传输.支持AMQP,XMPP,SMPP等多种协议,因此也比较重量级,由于采用broker代理架构,发送给客户端时,先在中间队列进行排队.RabbitMQ单机吞吐量在万级不算很高

ActiveMQ

可部署于代理模式和P2P模式,同样支持多种协议,单机吞吐量在万级.但是不够轻巧,对于队列较多的时候支持不是很好,并且有较低概率丢失消息

RocketMQ

阿里开源的消息中间件,单机支持十万级的吞吐量,使用Java开发具有高吞吐量,高可用性的特点,适合在大规模分布式系统中使用

kafka

有Scala开发的跨语言高性能分布式消息队列,单机吞吐量在十万级,消息延迟在毫秒级.完全的分布式系统,blocker,producer,consumer都是原生自动支持分布式,依赖ZooKeeper做分布式协调.支持一写多读,可被多个消费者消费.消息皆不会丢失,但可能重复

数据库

关系型数据库

Oracle
- 功能强大,缺点贵
MySQL
- 互联网行业中最流行的数据库
MariaDB
- MySQL的分支,由开源社区维护
PostgreSQL
- 类似于Oracle的多进程模型,可支持高并发的应用场景,几乎支持所有SQL标准,适合严格的企业应用场景

NoSQL(Not Only SQL)

Redis
- 适用于数据变化快,数据大小可预测的场景
MongoDB
- 基于分布式文件存储的数据库
- 将数据存储为一个文档,数据结构由键值对组成
- 适用于表结构不明确,数据结构不断发生变化的场景
- 不适合有事务和复杂查询的场景
Hbase
- 是在hdfs(Hadoop Distributed File System hadoop分布式文件系统)中分布式面向列的数据库,类似于Google的Bigtable
- 可提供快速随机访问海量结构化数据,在表中由行排序,一个表中有多个列族,每个列族有任意数量的列
- 依赖于hdfs,可以实现海量数据的可靠存储,适用于数据量大,写多读少,不需要复杂查询的场景
Cassandra
- 高可靠大规模分布式存储系统
- 支持分布是的结构化K-V存储
- 以高可用为主要目标
- 适合写多场景,简单查询,不适合数据统计
Pika
- 提供大容量类Redis的存储服务
- 兼容Redis的五种数据结构的大部分命令
- 使用磁盘存储,解决Redis存储成本问题

NewSQL

TiDB
- 开源分布式关系型数据库
- 几乎完全兼容MySQL
- 支持水平弹性扩展,ACID事务,标准SQL,MySQL语法和MySQL协议
- 具有数据强一致性的高可用性
- 既适合在线事务处理,也适合在线分析处理
OceanBase
- 蚂蚁金服所有,满足金融级数据可靠性以及数据一致性要求的数据库系统
- 以商业化不再开源

数据库范式

范式级别越高,对数据表要求的越严格

第一范式(最低)
- 要求表中的字段不可再拆分
第二范式
- 在满足第一范式的基础上,要求每条记录由主键唯一区分,记录中的所有属性都依赖与主键
第三范式
- 在满足第二范式的基础上,要求所有属性直接依赖于主键,不允许间接依赖
巴斯-科德范式(一般满足至此即可)
- 在满足第三范式的基础上,要求联合主键的各字段之间互不依赖
第四范式
第五范式

知识详解

Kafka架构

Kafka集群有多个server组成,每个server称为一个Broker,为消息代理
Kafka中消息是按topic进行划分的,一个topic就是一个queue,实际应用中不同数据可设置为不同topic
一个topic可以有多个consumer,当producer发送数据到topic中时,订阅了该topic的consumer都能接收到消息
为提高并行能力,维护了多个portion分区,每个portion保证id唯一且有序,新消息会储存在队尾,
portion持久化时会分段,保证对较小的文件进行写操作,以提高性能
每个topic会被分为多个portion,存于多个broker上,以保证容灾

Kafka消息生产/生产流程

对consumer进行分组管理,以支持消息的一写多读
producer有多种方式选择portion,轮循(默认),指定,根据key值得hash选择portion
消息得发送有三种
- 同步(默认):producer发送消息时,同步获得反馈
- 异步:producer以batch的方式push消息,可以极大地提高性能,也增加消息丢失风险
- oneway:只发送消息,不返回结果
Kafka确保每个group中只能有一个consumer消费
通过group coordinator管理哪个consumer负责消费哪个portion.默认支持range和轮循分配
在zookeeper中保存了每个topic的每个portion的消费偏移量offset.通过更新offset,以保证每条消息都被消费

ps.每个consumer线程相当于一个consumer实例,当consumer group中的consumer数量大于portion时,有的consumer会读取不到数据

数据库事务

事务特性

略

事务并发问题与隔离级别

略

事务分类

扁平事务:所有操作都在同一层次(日常使用最多).缺点:不能提交事物的某一部分
带保存点的扁平事务:在事务中插入保存点,失败回滚时,可回滚至任意保存点,而不是回滚整个事务
链事务:可看作上一事务的变种,事务提交时会将上下文隐式传递给下一个事务,事务失败时,回滚至最近的事务
嵌套事务:由上层事务和子事务组成,类似树形结构.顶层事务负责逻辑处理,子事务负责具体操作.子事务提交后需等待上层事务提交才算完成,若上层事务回滚,则所有子事务回滚
分布式事务:分布式环境中的扁平化事务
- XA规范:保证强一致性的刚性事务方案
  - 两段式提交
    - 需要事务协调者保证,事务参与者都完成第一阶段的事务准备阶段.当都准备完成则通知事务参与者进行下一阶段事务.(类似于Java中的countdownlatch和cyclicbarruer)
    - 在一个进程发生故障时,会有较长时间的阻塞
  - 三段式提交
    - 增加PreCommit环节,减少两段式提交中的阻塞时间
- TCC:满足最终一致性的柔性事务方案
  - 对每个操作都注册确认和补偿操作
  - try阶段:检测业务系统,预留资源
  - confirm阶段:确认提交
  - cancel阶段:业务执行错误时执行回滚,释放预留资源
- 消息事务:消息一致性方案
  - 将本地操作与消息发送封装在一个事务中,保证本地操作与消息发送要么都成功,要么都失败
  - 下游应用收到收到消息执行对应操作
- GTS/Fescar
  - 略

MySQL

以下是曾经收集的SQL笔记:

索引

可大幅增加数据库的查询性能,适合读多写少的场景
代价:需要额外空间保存索引,插入更新删除时,由于更新索引增加额外的开销

索引类型
- 唯一索引
  - 索引列中的值唯一,允许出现空值
- 主键索引
  - 特殊的唯一索引不允许出现空值
- 普通索引
  - 索引列中的值不唯一
- 联合索引
  - 多个列按顺序组成索引,相同列不同顺序为不同索引
- 全文索引
  - 只能在char varchar text等类型使用
索引实现
- B-Tree
  - 最常用
- R-Tree
  - 用于处理多维数据的数据结构,可对地理数据进行空间索引
- Hash
  - 效率比B-Tree高,不支持范围查找,排序等功能
- FullText
  - 适用于全文索引

MySQL调优

表结构与索引
- 分库分表,读写分离
- 为字段选择合适的数据类型
- 将字段多的表分拣成多个表,增加中间表
- 混合范式与反范式,适当冗余
- 为查询创建必要索引,但避免滥用
- 尽可能地是以哦那个NOT NULL
SQL语句优化
- 寻找最需要优化的语句:分析慢查询日志
  - 使用频繁或效率最低的
- 利用查询工具:explain,profile
- 避免使用SELECT *, 只取需要的列
- 尽可能使用prepared statements
- 使用索引扫描来排序
MySQL参数优化
硬件及系统配置
从1到4优化成本增加,优化效果降低

考察点

了解消息队列,数据库的基本原理和常用队列,数据库的特点
- 消息队列适用于异步队列,削峰填谷
了解Kafka的架构和消息处理流程
- 如何通过portion保证并发能力与冗余灾备
- consumer group如何保证每个consumer不会回去重复的雄消息
理解数据库事务的ACID特性和隔离级别
掌握常用的MySQL语句和常用函数
了解MySQL数据库不同引擎多的特点以及不同类型的索引实现

加分项

了解新特性
知道数据可表设计原则,有设计经验
有过数据可调优经验
消息队列使用经验,不同场景下的取舍

真题汇总

使用过消息队列吗,在什么场景使用,用来解决什么问题
使用队列是如何保证可靠性
MQ有可能发生重复消费吗,如何解决
数据库查询语句很慢,如何优化
数据库事务有哪些特性,事务隔离级别有哪几种
如何随SQL语句进行优化