第五章 常用Lua开发库1-redis、mysql、http客户端
对于开发来说需要有好的生态开发库来辅助我们快速开发,而Lua中也有大多数我们需要的第三方开发库如Redis、Memcached、Mysql、Http客户端、JSON、模板引擎等。
一些常见的Lua库可以在github上搜索,https://github.com/search?utf8=%E2%9C%93&q=lua+resty。
Redis客户端
lua-resty-redis是为基于cosocket API的ngx_lua提供的Lua redis客户端,通过它可以完成Redis的操作。默认安装OpenResty时已经自带了该模块,使用文档可参考https://github.com/openresty/lua-resty-redis。
在测试之前请启动Redis实例:
nohup /usr/servers/redis-2.8.19/src/redis-server /usr/servers/redis-2.8.19/redis_6660.conf &
1、基本操作
编辑test_redis_baisc.lua
- local function close_redis(red)
- if not red then
- return
- end
- local ok, err = red:close()
- if not ok then
- ngx.say("close redis error : ", err)
- end
- end
- local redis = require("resty.redis")
- --创建实例
- local red = redis:new()
- --设置超时(毫秒)
- red:set_timeout(1000)
- --建立连接
- local ip = "127.0.0.1"
- local port = 6660
- local ok, err = red:connect(ip, port)
- if not ok then
- ngx.say("connect to redis error : ", err)
- return close_redis(red)
- end
- --调用API进行处理
- ok, err = red:set("msg", "hello world")
- if not ok then
- ngx.say("set msg error : ", err)
- return close_redis(red)
- end
- --调用API获取数据
- local resp, err = red:get("msg")
- if not resp then
- ngx.say("get msg error : ", err)
- return close_redis(red)
- end
- --得到的数据为空处理
- if resp == ngx.null then
- resp = '' --比如默认值
- end
- ngx.say("msg : ", resp)
- close_redis(red)
基本逻辑很简单,要注意此处判断是否为nil,需要跟ngx.null比较。
2、example.conf配置文件
- location /lua_redis_basic {
- default_type 'text/html';
- lua_code_cache on;
- content_by_lua_file /usr/example/lua/test_redis_basic.lua;
- }
3、访问如http://192.168.1.2/lua_redis_basic进行测试,正常情况得到如下信息
msg : hello world
2、连接池
建立TCP连接需要三次握手而释放TCP连接需要四次握手,而这些往返时延仅需要一次,以后应该复用TCP连接,此时就可以考虑使用连接池,即连接池可以复用连接。
我们只需要将之前的close_redis函数改造为如下即可:
- local function close_redis(red)
- if not red then
- return
- end
- --释放连接(连接池实现)
- local pool_max_idle_time = 10000 --毫秒
- local pool_size = 100 --连接池大小
- local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
- if not ok then
- ngx.say("set keepalive error : ", err)
- end
- end
即设置空闲连接超时时间防止连接一直占用不释放;设置连接池大小来复用连接。
此处假设调用red:set_keepalive(),连接池大小通过nginx.conf中http部分的如下指令定义:
#默认连接池大小,默认30
lua_socket_pool_size 30;
#默认超时时间,默认60s
lua_socket_keepalive_timeout 60s;
注意:
1、连接池是每Worker进程的,而不是每Server的;
2、当连接超过最大连接池大小时,会按照LRU算法回收空闲连接为新连接使用;
3、连接池中的空闲连接出现异常时会自动被移除;
4、连接池是通过ip和port标识的,即相同的ip和port会使用同一个连接池(即使是不同类型的客户端如Redis、Memcached);
5、连接池第一次set_keepalive时连接池大小就确定下了,不会再变更;
5、cosocket的连接池http://wiki.nginx.org/HttpLuaModule#tcpsock:setkeepalive。
3、pipeline
pipeline即管道,可以理解为把多个命令打包然后一起发送;MTU(Maxitum Transmission Unit 最大传输单元)为二层包大小,一般为1500字节;而MSS(Maximum Segment Size 最大报文分段大小)为四层包大小,其一般是1500-20(IP报头)-20(TCP报头)=1460字节;因此假设我们执行的多个Redis命令能在一个报文中传输的话,可以减少网络往返来提高速度。因此可以根据实际情况来选择走pipeline模式将多个命令打包到一个报文发送然后接受响应,而Redis协议也能很简单的识别和解决粘包。
1、修改之前的代码片段
- red:init_pipeline()
- red:set("msg1", "hello1")
- red:set("msg2", "hello2")
- red:get("msg1")
- red:get("msg2")
- local respTable, err = red:commit_pipeline()
- --得到的数据为空处理
- if respTable == ngx.null then
- respTable = {} --比如默认值
- end
- --结果是按照执行顺序返回的一个table
- for i, v in ipairs(respTable) do
- ngx.say("msg : ", v, "<br/>")
- end
通过init_pipeline()初始化,然后通过commit_pipieline()打包提交init_pipeline()之后的Redis命令;返回结果是一个lua table,可以通过ipairs循环获取结果;
2、配置相应location,测试得到的结果
msg : OK
msg : OK
msg : hello1
msg : hello2
3、Redis Lua脚本
利用Redis单线程特性,可以通过在Redis中执行Lua脚本实现一些原子操作。如之前的red:get("msg")可以通过如下两种方式实现:
1、直接eval:
- local resp, err = red:eval("return redis.call('get', KEYS[1])", 1, "msg");
2、script load然后evalsha SHA1 校验和,这样可以节省脚本本身的服务器带宽:
- local sha1, err = red:script("load", "return redis.call('get', KEYS[1])");
- if not sha1 then
- ngx.say("load script error : ", err)
- return close_redis(red)
- end
- ngx.say("sha1 : ", sha1, "<br/>")
- local resp, err = red:evalsha(sha1, 1, "msg");
首先通过script load导入脚本并得到一个sha1校验和(仅需第一次导入即可),然后通过evalsha执行sha1校验和即可,这样如果脚本很长通过这种方式可以减少带宽的消耗。
此处仅介绍了最简单的redis lua脚本,更复杂的请参考官方文档学习使用。
另外Redis集群分片算法该客户端没有提供需要自己实现,当然可以考虑直接使用类似于Twemproxy这种中间件实现。
Memcached客户端使用方式和本文类似,本文就不介绍了。
Mysql客户端
lua-resty-mysql是为基于cosocket API的ngx_lua提供的Lua Mysql客户端,通过它可以完成Mysql的操作。默认安装OpenResty时已经自带了该模块,使用文档可参考https://github.com/openresty/lua-resty-mysql。
1、编辑test_mysql.lua
- local function close_db(db)
- if not db then
- return
- end
- db:close()
- end
- local mysql = require("resty.mysql")
- --创建实例
- local db, err = mysql:new()
- if not db then
- ngx.say("new mysql error : ", err)
- return
- end
- --设置超时时间(毫秒)
- db:set_timeout(1000)
- local props = {
- host = "127.0.0.1",
- port = 3306,
- database = "mysql",
- user = "root",
- password = "123456"
- }
- local res, err, errno, sqlstate = db:connect(props)
- if not res then
- ngx.say("connect to mysql error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
- return close_db(db)
- end
- --删除表
- local drop_table_sql = "drop table if exists test"
- res, err, errno, sqlstate = db:query(drop_table_sql)
- if not res then
- ngx.say("drop table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
- return close_db(db)
- end
- --创建表
- local create_table_sql = "create table test(id int primary key auto_increment, ch varchar(100))"
- res, err, errno, sqlstate = db:query(create_table_sql)
- if not res then
- ngx.say("create table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
- return close_db(db)
- end
- --插入
- local insert_sql = "insert into test (ch) values('hello')"
- res, err, errno, sqlstate = db:query(insert_sql)
- if not res then
- ngx.say("insert error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
- return close_db(db)
- end
- res, err, errno, sqlstate = db:query(insert_sql)
- ngx.say("insert rows : ", res.affected_rows, " , id : ", res.insert_id, "<br/>")
- --更新
- local update_sql = "update test set ch = 'hello2' where id =" .. res.insert_id
- res, err, errno, sqlstate = db:query(update_sql)
- if not res then
- ngx.say("update error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
- return close_db(db)
- end
- ngx.say("update rows : ", res.affected_rows, "<br/>")
- --查询
- local select_sql = "select id, ch from test"
- res, err, errno, sqlstate = db:query(select_sql)
- if not res then
- ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
- return close_db(db)
- end
- for i, row in ipairs(res) do
- for name, value in pairs(row) do
- ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")
- end
- end
- ngx.say("<br/>")
- --防止sql注入
- local ch_param = ngx.req.get_uri_args()["ch"] or ''
- --使用ngx.quote_sql_str防止sql注入
- local query_sql = "select id, ch from test where ch = " .. ngx.quote_sql_str(ch_param)
- res, err, errno, sqlstate = db:query(query_sql)
- if not res then
- ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
- return close_db(db)
- end
- for i, row in ipairs(res) do
- for name, value in pairs(row) do
- ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")
- end
- end
- --删除
- local delete_sql = "delete from test"
- res, err, errno, sqlstate = db:query(delete_sql)
- if not res then
- ngx.say("delete error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
- return close_db(db)
- end
- ngx.say("delete rows : ", res.affected_rows, "<br/>")
- close_db(db)
对于新增/修改/删除会返回如下格式的响应:
- {
- insert_id = 0,
- server_status = 2,
- warning_count = 1,
- affected_rows = 32,
- message = nil
- }
affected_rows表示操作影响的行数,insert_id是在使用自增序列时产生的id。
对于查询会返回如下格式的响应:
- {
- { id= 1, ch= "hello"},
- { id= 2, ch= "hello2"}
- }
null将返回ngx.null。
2、example.conf配置文件
- location /lua_mysql {
- default_type 'text/html';
- lua_code_cache on;
- content_by_lua_file /usr/example/lua/test_mysql.lua;
- }
3、访问如http://192.168.1.2/lua_mysql?ch=hello进行测试,得到如下结果
- insert rows : 1 , id : 2
- update rows : 1
- select row 1 : ch = hello
- select row 1 : id = 1
- select row 2 : ch = hello2
- select row 2 : id = 2
- select row 1 : ch = hello
- select row 1 : id = 1
- delete rows : 2
客户端目前还没有提供预编译SQL支持(即占位符替换位置变量),这样在入参时记得使用ngx.quote_sql_str进行字符串转义,防止sql注入;连接池和之前Redis客户端完全一样就不介绍了。
对于Mysql客户端的介绍基本够用了,更多请参考https://github.com/openresty/lua-resty-mysql。
其他如MongoDB等数据库的客户端可以从github上查找使用。
Http客户端
OpenResty默认没有提供Http客户端,需要使用第三方提供;当然我们可以通过ngx.location.capture 去方式实现,但是有一些限制,后边我们再做介绍。
我们可以从github上搜索相应的客户端,比如https://github.com/pintsized/lua-resty-http。
lua-resty-http
1、下载lua-resty-http客户端到lualib
- cd /usr/example/lualib/resty/
- wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http_headers.lua
- wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http.lua
2、test_http_1.lua
- local http = require("resty.http")
- --创建http客户端实例
- local httpc = http.new()
- local resp, err = httpc:request_uri("http://s.taobao.com", {
- method = "GET",
- path = "/search?q=hello",
- headers = {
- ["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
- }
- })
- if not resp then
- ngx.say("request error :", err)
- return
- end
- --获取状态码
- ngx.status = resp.status
- --获取响应头
- for k, v in pairs(resp.headers) do
- if k ~= "Transfer-Encoding" and k ~= "Connection" then
- ngx.header[k] = v
- end
- end
- --响应体
- ngx.say(resp.body)
- httpc:close()
响应头中的Transfer-Encoding和Connection可以忽略,因为这个数据是当前server输出的。
3、example.conf配置文件
- location /lua_http_1 {
- default_type 'text/html';
- lua_code_cache on;
- content_by_lua_file /usr/example/lua/test_http_1.lua;
- }
- resolver 8.8.8.8;
使用方式比较简单,如超时和连接池设置和之前Redis客户端一样,不再阐述。更多客户端使用规则请参考https://github.com/pintsized/lua-resty-http。
ngx.location.capture
ngx.location.capture也可以用来完成http请求,但是它只能请求到相对于当前nginx服务器的路径,不能使用之前的绝对路径进行访问,但是我们可以配合nginx upstream实现我们想要的功能。
1、在nginx.cong中的http部分添加如下upstream配置
- upstream backend {
- server s.taobao.com;
- keepalive 100;
- }
即我们将请求upstream到backend;另外记得一定要添加之前的DNS解析器。
2、在example.conf配置如下location
- location ~ /proxy/(.*) {
- internal;
- proxy_pass http://backend/$1$is_args$args;
- }
internal表示只能内部访问,即外部无法通过url访问进来; 并通过proxy_pass将请求转发到upstream。
3、test_http_2.lua
- local resp = ngx.location.capture("/proxy/search", {
- method = ngx.HTTP_GET,
- args = {q = "hello"}
- })
- if not resp then
- ngx.say("request error :", err)
- return
- end
- ngx.log(ngx.ERR, tostring(resp.status))
- --获取状态码
- ngx.status = resp.status
- --获取响应头
- for k, v in pairs(resp.header) do
- if k ~= "Transfer-Encoding" and k ~= "Connection" then
- ngx.header[k] = v
- end
- end
- --响应体
- if resp.body then
- ngx.say(resp.body)
- end
通过ngx.location.capture发送一个子请求,此处因为是子请求,所有请求头继承自当前请求,还有如ngx.ctx和ngx.var是否继承可以参考官方文档http://wiki.nginx.org/HttpLuaModule#ngx.location.capture。 另外还提供了ngx.location.capture_multi用于并发发出多个请求,这样总的响应时间是最慢的一个,批量调用时有用。
4、example.conf配置文件
- location /lua_http_2 {
- default_type 'text/html';
- lua_code_cache on;
- content_by_lua_file /usr/example/lua/test_http_2.lua;
- }
5、访问如http://192.168.1.2/lua_http_2进行测试可以看到淘宝搜索界面。
我们通过upstream+ngx.location.capture方式虽然麻烦点,但是得到更好的性能和upstream的连接池、负载均衡、故障转移、proxy cache等特性。
不过因为继承在当前请求的请求头,所以可能会存在一些问题,比较常见的就是gzip压缩问题,ngx.location.capture不会解压缩后端服务器的GZIP内容,解决办法可以参考https://github.com/openresty/lua-nginx-module/issues/12;因为我们大部分这种http调用的都是内部服务,因此完全可以在proxy location中添加proxy_pass_request_headers off;来不传递请求头。
来源:http://jinnianshilongnian.iteye.com/blog/2187328
第五章 常用Lua开发库1-redis、mysql、http客户端相关推荐
- 第五章 常用Lua开发库2-JSON库、编码转换、字符串处理
JSON库 在进行数据传输时JSON格式目前应用广泛,因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能:目前Lua也有几个JSON库,本人用过cjson.dkjson.其中cjson的 ...
- 第五章 常用Lua开发库3-模板渲染
动态web网页开发是Web开发中一个常见的场景,比如像京东商品详情页,其页面逻辑是非常复杂的,需要使用模板技术来实现.而Lua中也有许多模板引擎,如目前我在使用的lua-resty-template, ...
- [单刷APUE系列]第五章——标准I/O库
目录 [单刷APUE系列]第一章--Unix基础知识[1] [单刷APUE系列]第一章--Unix基础知识[2] [单刷APUE系列]第二章--Unix标准及实现 [单刷APUE系列]第三章--文件I ...
- 【Python】推荐五个常用的图像处理库
1. 引言 Python目前是世界上使用最多的编程语言之一.它能够以更少的工作量和更少的代码行数来完成许多事情.它还可以使用很少的代码行来方便地编辑和创建图像. 本文重点介绍,在图像处理领域,我们最常 ...
- 19年8月 字母哥 第四章 常用web开发数据库框架 不要用公司网络加载不出来 用热点!!!
第四章 常用web开发数据库框架 4.1.整合Spring JDBC操作数据 4.2 Spring JDBC多数据源的实现 4.3.Spring JDBC JTA实现分布式事务 4.4.ORM主流框架 ...
- 概率论||期末考试复习手写笔记-第五六七章(知识点+例题)第五章 常用统计分布 第六章 参数估计 第七章 假设检验
第五章 常用统计分布 考点一:常用统计量 考点二:三大统计分布 考点三:抽样分布(单正态总体+双正态总体) 第六章 参数估计 考点一: 估计量的评价标准(无偏性+有效性+相合性) 考点二:点估计的常 ...
- 【第三章:Java开发岗:Redis篇】
点击:[第一章:Java开发岗:基础篇] HashMap.Synchronized.ThreadLocal.AQS.线程池.JVM内存模型.内存屏障.class文件结构.类加载 机制.双亲委派.垃圾回 ...
- 《NodeJS开发指南》第五章微博实例开发总结
所有文章搬运自我的个人主页:sheilasun.me <NodeJS开发指南>这本书用来NodeJS入门真是太好了,而且书的附录部分还讲到了闭包.this等JavaScript常用特性.第 ...
- APUE学习笔记:第五章 标准I/O库
5.1 引言 标准I/O库处理很多细节,例如缓冲区分配,以优化长度执行I/O等.这些处理不必担心如何使用正确的块长度.这使得它便于用户使用,但是如果不较深入地了解I/O库函数的操作,也会带来一些问题 ...
最新文章
- 【OpenCV 4开发详解】图像LUT查找表
- python递归函数讲解_Python递归函数实例讲解
- Windows 使用命令执行 sql 脚本文件
- softmax函数与交叉熵损失函数
- mysql本身主从_Mysql主从复制
- PHP解决方案@时间差异计算函数
- jmeter中CSV Data Set Config的使用
- Java全栈开发---Java ERP系统开发:商业ERP(七
- html鼠标悬停box变色,ToolTip鼠标悬停的使用
- teamviewer超时后连接被阻断。您的许可证对您与伙伴的最大话时间有所限制
- 眼镜商城开发,让眼镜世界更丰富
- BZOJ4516 [Sdoi2016]生成魔咒 后缀自动机/后缀数组
- ROS2学习(1)ROS2简述
- ClassLayout ,JOL Maven地址及锁64位状态图
- 善用性能工具进行SQL整体优化
- js中replace函数的使用
- 微信小程序之微信登陆 —— 微信小程序教程系列(20)
- 【SGU】117. Counting 快速幂
- Nginx从入门到应用-姜威-专题视频课程
- 记一次阿里云ECS服务器centos6.5无法使用epel源的爬坑
热门文章
- redis的基本使用笔记二
- 3.将maven项目jar纳入maven仓库,Mave项目依赖另外一个Maven项目的案例
- pythonfor循环100次_在for循环中只打印一次
- 基于ZF网络的Faster RCNN网络结构详解(非常详细版)
- Visual Studio——多字节编码与Unicode码
- linux2.6驱动学习笔记之字符驱动
- 用python同时画多个分布图
- C++const类型的引用参数
- MybatisPlus 多租户架构(Multi-tenancy)实现
- 颠覆传统4S店,特斯拉发布智能售后服务体系