在Redis中使用Pipelining提升查询速度

Redis是一个client-server模式的TCP服务，也被称为Request/Response协议的实现。这意味着通常一个请求的完成是遵循下面两个步骤：

Client发送一个操作命令给Server，从TCP的套接字Socket中读取Server的响应值，通常来说这是一种阻塞的方式
Server执行操作命令，然后将响应值返回给Client
举个例子：

Client: INCR X
Server: 1
Client: INCR X
Server: 2
Client: INCR X
Server: 3
Client: INCR X
Server: 4
复制代码

Clients和Servers是通过网络进行连接。网络连接可能会很快（比如本机回环网络），也可能会很慢（比如两个主机之间存在多条网络）。不管网络怎么样，一个数据包从Client到Server，然后相应值又从Server返回Client都需要一定的时间。

这个时间被称为RTT(Round Trip Time)。当一个Client需要执行多个连续请求（比如添加许多个元素到一个list中，或者清掉Redis中许多个键值对），那么RTT是怎样影响到性能，这个也是很方便去计算的。如果RTT的时间为250ms（假设互联网连接速度很常慢），即使Server可以每秒处理100k个请求，那么最多也只能接受每秒4个请求。

如果是本地回环网络，RTT将会特别的短（比如作者的localhost，RTT的响应时间为40ms），但是对于执行连续多次写操作时，也是一笔不小的消耗。

其实我们有其他办法来降低这种场景的消耗。

Redis Pipelining
在一个Request/Response方式的服务中有一个特性：即使Client没有收到之前的响应值，也可以继续发送新的请求。这种特性我们可以不用等待Server的响应，率先发送许多操作命令给Server，再一次性读取Server的所有响应值。

这种方式被称为Pipelining技术，该技术近几十年来被广泛的使用。比如多POP3协议的实现就支持这个特性，大大的提升了从server端下载新的邮件的速度。

Redis在很早的时候就支持该项技术，所以不管你运行的是什么版本，你都可以使用pipelining技术，比如这里有一个使用 netcat 工具的：

$ (printf "PING\r\nPING\r\nPING\r\n"; sleep 1) | nc localhost 6379
+PONG
+PONG
+PONG
复制代码

现在我们不需要为每一次请求付出RTT的消耗了，而是一次性发送三个操作命令。为了便于直观的理解，还是拿之前的例子说明，使用pipelining技术该例子的实现顺序如下：

Client: INCR X
Client: INCR X
Client: INCR X
Client: INCR X
Server: 1
Server: 2
Server: 3
Server: 4
复制代码

当client使用pipelining发送操作命令时，server端将强制使用内存来排列响应结果。所以在使用pipelining发送大量的操作命令的时候，最好确定一个合理的命令条数，一批一批的发送给Server端，比如发送10000个操作命令，读取响应结果，再发送10000个操作命令，以此类推…虽然说耗时近乎相同，但是额外的内存消耗将是这10000操作命令的排列响应结果所需的最大值。为防止内存耗尽，尽量选择一个合理的值。

It’s not just a matter of RTT
Pipelining不是减少因为 RTT 造成消耗的唯一方式，但它确实帮助我们极大的提升每秒的执行命令数量。事实的真相是：从访问相应的数据结构并且生成答复结果的情况来看，不使用pipelining确实代价很低；但是从套接字socket I/O的情况来看，恰恰相反。因为这涉及到了read()和write()调用，需要从用户状态切换到内核状态。这种上下切换会特别损耗时间。

一旦使用了pipelining技术，很多操作命令将会从同一个read()调用中执行读操作，大量的答复结果将会被分发到同一个write()调用中执行写操作。基于此，随着管道的长度增加，每秒执行的查询数量最开始几乎呈直线型增加，直到不使用pipelining技术的基准的10倍，如下图所示：

Some real world code example
不翻译，基本上就是说使用了pipelining提升了5倍性能。

Pipelining VS Scripting
Redis Scripting(2.6+版本可用)，通过使用在Server端完成大量工作的脚本Scripting，可以更加高效的解决大量pipelining用例。使用脚本Scripting的最大好处就是在读和写的时候消耗更少的性能，使得像读、写、计算这样的操作更加快速。（当client需要写操作之前获取读操作的响应结果时，pepelining就显得相形见拙。）有时候，应用可能需要在使用pipelining时，发送 EVAL 或者 EVALSHA 命令，这是可行的，并且Redis明确支持这么这种SCRIPT LOAD命令。（它保证可可以调用 EVALSHA 而不会有失败的风险）。

Appendix: Why are busy loops slow even on the loopback interface?
那么为什么如下的Redis测试基准 benchmark 会执行这么慢，甚至在Client和Server在一个物理机上也是如此：

FOR-ONE-SECOND:Redis.SET("foo","bar")
END
复制代码

毕竟Redis进程和测试基准benchmark在相同的机器上运行，并且这是没有任何实际的延迟和真实的网络参与，不就是消息通过内存从一个地方拷贝到另一个地方么？原因是进程在操作系统中并不是一直运行。真实的情景是系统内核调度，调度到进程运行，它才会运行。比如测试基准benchmark被允许运行，从Redis Server中读取响应内容，并且写了一个新的命令。这时命令将在回环网络的套接字中，但是为了被Redis Server读取，系统内核需要调度Redis Server进程，周而复始。所以由于系统内核调度的机制，就算是在本地回环网络中，仍然会涉及到网络延迟。简单的说就是在网络服务器中衡量性能时，使用本地回环网络测试并不是一个明智的方式。应该避免使用此种方式来测试基准。

最后
如果你觉得这篇文章对你有点用的话，麻烦请给我们的开源项目点点star:http://github.crmeb.net/u/defu不胜感激！

免费获取源码地址：http://www.crmeb.com

PHP学习手册：https://doc.crmeb.com

技术交流论坛：https://q.crmeb.com

在Redis中使用Pipelining提升查询速度相关推荐

在SQLite中使用索引优化查询速度
在进行多个表联合查询的时候,使用索引可以显著的提高速度,刚才用SQLite做了一下测试. 建立三个表: create table t1 (id integer primary key, num in ...
Apache Iceberg 中引入索引提升查询性能
动手点关注干货不迷路 ‍ ‍Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition ...
clickhouse 查询优化_如何提升查询速度？试试ClickHouse
一.ClickHouse 是什么?ClickHouse:是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS) 我们首先理清一些基础概念OLTP:是传统的关系型数据库,主要操作增删改查,强调事 ...
mysql longtext查询慢_select中的longtext使查询速度极慢
我有一个结构如下的普通平台 CREATE TABLE `oc_pipeline_logging` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `source` TE ...
数据库查询速度优化 1 建立索引
rel="File-List" href="file:///C:%5CDOCUME%7E1%5Cjoe%5CLOCALS%7E1%5CTemp%5Cmsohtml1%5C ...
redis 亿级查询速度_Redis 性能优化的 13 条军规！史上最全
Redis性能优化实战方案 Redis 是基于单线程模型实现的,也就是 Redis 是使用一个线程来处理所有的客户端请求的,尽管 Redis 使用了非阻塞式 IO,并且对各种命令都做了优化(大部分命令 ...
redis 亿级查询速度_吊打面试官系列：Redis 性能优化的 13 条军规大全
我的官方群点击此处. 1.缩短键值对的存储长度键值对的长度是和性能成反比的,比如我们来做一组写入数据的性能测试,执行结果如下: 从以上数据可以看出,在 key 不变的情况下,value 值越大操作效 ...
Mysql中查询速度的优化
2019独角兽企业重金招聘Python工程师标准>>> mysql中查询速度的优化 1.查看每一个表的数据量 2.left join的时候尽量减少表的大小,通过临时表,查询条件去限制 ...
使用Apache Spark让MySQL查询速度提升10倍以上
作者:Alexander Rubin 链接:http://coyee.com/article/11012-how-apache-spark-makes-your-slow-mysql-queries- ...

在Redis中使用Pipelining提升查询速度

在Redis中使用Pipelining提升查询速度相关推荐

最新文章

热门文章