对于开发来说需要有好的生态开发库来辅助我们快速开发,而Lua中也有大多数我们需要的第三方开发库如Redis、Memcached、Mysql、Http客户端、JSON、模板引擎等。

一些常见的Lua库可以在github上搜索,https://github.com/search?utf8=%E2%9C%93&q=lua+resty。

Redis客户端

lua-resty-redis是为基于cosocket API的ngx_lua提供的Lua redis客户端,通过它可以完成Redis的操作。默认安装OpenResty时已经自带了该模块,使用文档可参考https://github.com/openresty/lua-resty-redis。

在测试之前请启动Redis实例:

nohup /usr/servers/redis-2.8.19/src/redis-server  /usr/servers/redis-2.8.19/redis_6660.conf &

1、基本操作

编辑test_redis_baisc.lua

Java代码  
  1. local function close_redis(red)
  2. if not red then
  3. return
  4. end
  5. local ok, err = red:close()
  6. if not ok then
  7. ngx.say("close redis error : ", err)
  8. end
  9. end
  10. local redis = require("resty.redis")
  11. --创建实例
  12. local red = redis:new()
  13. --设置超时(毫秒)
  14. red:set_timeout(1000)
  15. --建立连接
  16. local ip = "127.0.0.1"
  17. local port = 6660
  18. local ok, err = red:connect(ip, port)
  19. if not ok then
  20. ngx.say("connect to redis error : ", err)
  21. return close_redis(red)
  22. end
  23. --调用API进行处理
  24. ok, err = red:set("msg", "hello world")
  25. if not ok then
  26. ngx.say("set msg error : ", err)
  27. return close_redis(red)
  28. end
  29. --调用API获取数据
  30. local resp, err = red:get("msg")
  31. if not resp then
  32. ngx.say("get msg error : ", err)
  33. return close_redis(red)
  34. end
  35. --得到的数据为空处理
  36. if resp == ngx.null then
  37. resp = ''  --比如默认值
  38. end
  39. ngx.say("msg : ", resp)
  40. close_redis(red)

基本逻辑很简单,要注意此处判断是否为nil,需要跟ngx.null比较。

2、example.conf配置文件

Java代码  
  1. location /lua_redis_basic {
  2. default_type 'text/html';
  3. lua_code_cache on;
  4. content_by_lua_file /usr/example/lua/test_redis_basic.lua;
  5. }

3、访问如http://192.168.1.2/lua_redis_basic进行测试,正常情况得到如下信息

msg : hello world

2、连接池

建立TCP连接需要三次握手而释放TCP连接需要四次握手,而这些往返时延仅需要一次,以后应该复用TCP连接,此时就可以考虑使用连接池,即连接池可以复用连接。

我们只需要将之前的close_redis函数改造为如下即可:

Java代码  
  1. local function close_redis(red)
  2. if not red then
  3. return
  4. end
  5. --释放连接(连接池实现)
  6. local pool_max_idle_time = 10000 --毫秒
  7. local pool_size = 100 --连接池大小
  8. local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
  9. if not ok then
  10. ngx.say("set keepalive error : ", err)
  11. end
  12. end

即设置空闲连接超时时间防止连接一直占用不释放;设置连接池大小来复用连接。

此处假设调用red:set_keepalive(),连接池大小通过nginx.conf中http部分的如下指令定义:

#默认连接池大小,默认30

lua_socket_pool_size 30;

#默认超时时间,默认60s

lua_socket_keepalive_timeout 60s;

注意:

1、连接池是每Worker进程的,而不是每Server的;

2、当连接超过最大连接池大小时,会按照LRU算法回收空闲连接为新连接使用;

3、连接池中的空闲连接出现异常时会自动被移除;

4、连接池是通过ip和port标识的,即相同的ip和port会使用同一个连接池(即使是不同类型的客户端如Redis、Memcached);

5、连接池第一次set_keepalive时连接池大小就确定下了,不会再变更;

5、cosocket的连接池http://wiki.nginx.org/HttpLuaModule#tcpsock:setkeepalive。

3、pipeline

pipeline即管道,可以理解为把多个命令打包然后一起发送;MTU(Maxitum Transmission Unit 最大传输单元)为二层包大小,一般为1500字节;而MSS(Maximum Segment Size 最大报文分段大小)为四层包大小,其一般是1500-20(IP报头)-20(TCP报头)=1460字节;因此假设我们执行的多个Redis命令能在一个报文中传输的话,可以减少网络往返来提高速度。因此可以根据实际情况来选择走pipeline模式将多个命令打包到一个报文发送然后接受响应,而Redis协议也能很简单的识别和解决粘包。

1、修改之前的代码片段

Java代码  
  1. red:init_pipeline()
  2. red:set("msg1", "hello1")
  3. red:set("msg2", "hello2")
  4. red:get("msg1")
  5. red:get("msg2")
  6. local respTable, err = red:commit_pipeline()
  7. --得到的数据为空处理
  8. if respTable == ngx.null then
  9. respTable = {}  --比如默认值
  10. end
  11. --结果是按照执行顺序返回的一个table
  12. for i, v in ipairs(respTable) do
  13. ngx.say("msg : ", v, "<br/>")
  14. end

通过init_pipeline()初始化,然后通过commit_pipieline()打包提交init_pipeline()之后的Redis命令;返回结果是一个lua table,可以通过ipairs循环获取结果;

2、配置相应location,测试得到的结果

msg : OK
msg : OK
msg : hello1
msg : hello2

3、Redis Lua脚本

利用Redis单线程特性,可以通过在Redis中执行Lua脚本实现一些原子操作。如之前的red:get("msg")可以通过如下两种方式实现:

1、直接eval:

Java代码  
  1. local resp, err = red:eval("return redis.call('get', KEYS[1])", 1, "msg");

2、script load然后evalsha  SHA1 校验和,这样可以节省脚本本身的服务器带宽:

Java代码  
  1. local sha1, err = red:script("load",  "return redis.call('get', KEYS[1])");
  2. if not sha1 then
  3. ngx.say("load script error : ", err)
  4. return close_redis(red)
  5. end
  6. ngx.say("sha1 : ", sha1, "<br/>")
  7. local resp, err = red:evalsha(sha1, 1, "msg");

首先通过script load导入脚本并得到一个sha1校验和(仅需第一次导入即可),然后通过evalsha执行sha1校验和即可,这样如果脚本很长通过这种方式可以减少带宽的消耗。

此处仅介绍了最简单的redis lua脚本,更复杂的请参考官方文档学习使用。

另外Redis集群分片算法该客户端没有提供需要自己实现,当然可以考虑直接使用类似于Twemproxy这种中间件实现。

Memcached客户端使用方式和本文类似,本文就不介绍了。

Mysql客户端

lua-resty-mysql是为基于cosocket API的ngx_lua提供的Lua Mysql客户端,通过它可以完成Mysql的操作。默认安装OpenResty时已经自带了该模块,使用文档可参考https://github.com/openresty/lua-resty-mysql。

1、编辑test_mysql.lua

Java代码  
  1. local function close_db(db)
  2. if not db then
  3. return
  4. end
  5. db:close()
  6. end
  7. local mysql = require("resty.mysql")
  8. --创建实例
  9. local db, err = mysql:new()
  10. if not db then
  11. ngx.say("new mysql error : ", err)
  12. return
  13. end
  14. --设置超时时间(毫秒)
  15. db:set_timeout(1000)
  16. local props = {
  17. host = "127.0.0.1",
  18. port = 3306,
  19. database = "mysql",
  20. user = "root",
  21. password = "123456"
  22. }
  23. local res, err, errno, sqlstate = db:connect(props)
  24. if not res then
  25. ngx.say("connect to mysql error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
  26. return close_db(db)
  27. end
  28. --删除表
  29. local drop_table_sql = "drop table if exists test"
  30. res, err, errno, sqlstate = db:query(drop_table_sql)
  31. if not res then
  32. ngx.say("drop table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
  33. return close_db(db)
  34. end
  35. --创建表
  36. local create_table_sql = "create table test(id int primary key auto_increment, ch varchar(100))"
  37. res, err, errno, sqlstate = db:query(create_table_sql)
  38. if not res then
  39. ngx.say("create table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
  40. return close_db(db)
  41. end
  42. --插入
  43. local insert_sql = "insert into test (ch) values('hello')"
  44. res, err, errno, sqlstate = db:query(insert_sql)
  45. if not res then
  46. ngx.say("insert error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
  47. return close_db(db)
  48. end
  49. res, err, errno, sqlstate = db:query(insert_sql)
  50. ngx.say("insert rows : ", res.affected_rows, " , id : ", res.insert_id, "<br/>")
  51. --更新
  52. local update_sql = "update test set ch = 'hello2' where id =" .. res.insert_id
  53. res, err, errno, sqlstate = db:query(update_sql)
  54. if not res then
  55. ngx.say("update error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
  56. return close_db(db)
  57. end
  58. ngx.say("update rows : ", res.affected_rows, "<br/>")
  59. --查询
  60. local select_sql = "select id, ch from test"
  61. res, err, errno, sqlstate = db:query(select_sql)
  62. if not res then
  63. ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
  64. return close_db(db)
  65. end
  66. for i, row in ipairs(res) do
  67. for name, value in pairs(row) do
  68. ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")
  69. end
  70. end
  71. ngx.say("<br/>")
  72. --防止sql注入
  73. local ch_param = ngx.req.get_uri_args()["ch"] or ''
  74. --使用ngx.quote_sql_str防止sql注入
  75. local query_sql = "select id, ch from test where ch = " .. ngx.quote_sql_str(ch_param)
  76. res, err, errno, sqlstate = db:query(query_sql)
  77. if not res then
  78. ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
  79. return close_db(db)
  80. end
  81. for i, row in ipairs(res) do
  82. for name, value in pairs(row) do
  83. ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")
  84. end
  85. end
  86. --删除
  87. local delete_sql = "delete from test"
  88. res, err, errno, sqlstate = db:query(delete_sql)
  89. if not res then
  90. ngx.say("delete error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)
  91. return close_db(db)
  92. end
  93. ngx.say("delete rows : ", res.affected_rows, "<br/>")
  94. close_db(db)

对于新增/修改/删除会返回如下格式的响应:

Java代码  
  1. {
  2. insert_id = 0,
  3. server_status = 2,
  4. warning_count = 1,
  5. affected_rows = 32,
  6. message = nil
  7. }

affected_rows表示操作影响的行数,insert_id是在使用自增序列时产生的id。

对于查询会返回如下格式的响应:

Java代码  
  1. {
  2. { id= 1, ch= "hello"},
  3. { id= 2, ch= "hello2"}
  4. }

null将返回ngx.null。

2、example.conf配置文件

Java代码  
  1. location /lua_mysql {
  2. default_type 'text/html';
  3. lua_code_cache on;
  4. content_by_lua_file /usr/example/lua/test_mysql.lua;
  5. }

3、访问如http://192.168.1.2/lua_mysql?ch=hello进行测试,得到如下结果

Java代码  
  1. insert rows : 1 , id : 2
  2. update rows : 1
  3. select row 1 : ch = hello
  4. select row 1 : id = 1
  5. select row 2 : ch = hello2
  6. select row 2 : id = 2
  7. select row 1 : ch = hello
  8. select row 1 : id = 1
  9. delete rows : 2

客户端目前还没有提供预编译SQL支持(即占位符替换位置变量),这样在入参时记得使用ngx.quote_sql_str进行字符串转义,防止sql注入;连接池和之前Redis客户端完全一样就不介绍了。

对于Mysql客户端的介绍基本够用了,更多请参考https://github.com/openresty/lua-resty-mysql。

其他如MongoDB等数据库的客户端可以从github上查找使用。

Http客户端

OpenResty默认没有提供Http客户端,需要使用第三方提供;当然我们可以通过ngx.location.capture 去方式实现,但是有一些限制,后边我们再做介绍。

我们可以从github上搜索相应的客户端,比如https://github.com/pintsized/lua-resty-http。

lua-resty-http

1、下载lua-resty-http客户端到lualib

Java代码  
  1. cd /usr/example/lualib/resty/
  2. wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http_headers.lua
  3. wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http.lua

2、test_http_1.lua

Java代码  
  1. local http = require("resty.http")
  2. --创建http客户端实例
  3. local httpc = http.new()
  4. local resp, err = httpc:request_uri("http://s.taobao.com", {
  5. method = "GET",
  6. path = "/search?q=hello",
  7. headers = {
  8. ["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"
  9. }
  10. })
  11. if not resp then
  12. ngx.say("request error :", err)
  13. return
  14. end
  15. --获取状态码
  16. ngx.status = resp.status
  17. --获取响应头
  18. for k, v in pairs(resp.headers) do
  19. if k ~= "Transfer-Encoding" and k ~= "Connection" then
  20. ngx.header[k] = v
  21. end
  22. end
  23. --响应体
  24. ngx.say(resp.body)
  25. httpc:close()

响应头中的Transfer-Encoding和Connection可以忽略,因为这个数据是当前server输出的。

3、example.conf配置文件

Java代码  
  1. location /lua_http_1 {
  2. default_type 'text/html';
  3. lua_code_cache on;
  4. content_by_lua_file /usr/example/lua/test_http_1.lua;
  5. }
4、在nginx.conf中的http部分添加如下指令来做DNS解析
Java代码  
  1. resolver 8.8.8.8;
记得要配置DNS解析器resolver 8.8.8.8,否则域名是无法解析的。
5、访问如http://192.168.1.2/lua_http_1会看到淘宝的搜索界面。

使用方式比较简单,如超时和连接池设置和之前Redis客户端一样,不再阐述。更多客户端使用规则请参考https://github.com/pintsized/lua-resty-http。

ngx.location.capture

ngx.location.capture也可以用来完成http请求,但是它只能请求到相对于当前nginx服务器的路径,不能使用之前的绝对路径进行访问,但是我们可以配合nginx upstream实现我们想要的功能。

1、在nginx.cong中的http部分添加如下upstream配置

Java代码  
  1. upstream backend {
  2. server s.taobao.com;
  3. keepalive 100;
  4. }

即我们将请求upstream到backend;另外记得一定要添加之前的DNS解析器。

2、在example.conf配置如下location

Java代码  
  1. location ~ /proxy/(.*) {
  2. internal;
  3. proxy_pass http://backend/$1$is_args$args;
  4. }

internal表示只能内部访问,即外部无法通过url访问进来; 并通过proxy_pass将请求转发到upstream。

3、test_http_2.lua

Java代码  
  1. local resp = ngx.location.capture("/proxy/search", {
  2. method = ngx.HTTP_GET,
  3. args = {q = "hello"}
  4. })
  5. if not resp then
  6. ngx.say("request error :", err)
  7. return
  8. end
  9. ngx.log(ngx.ERR, tostring(resp.status))
  10. --获取状态码
  11. ngx.status = resp.status
  12. --获取响应头
  13. for k, v in pairs(resp.header) do
  14. if k ~= "Transfer-Encoding" and k ~= "Connection" then
  15. ngx.header[k] = v
  16. end
  17. end
  18. --响应体
  19. if resp.body then
  20. ngx.say(resp.body)
  21. end

通过ngx.location.capture发送一个子请求,此处因为是子请求,所有请求头继承自当前请求,还有如ngx.ctx和ngx.var是否继承可以参考官方文档http://wiki.nginx.org/HttpLuaModule#ngx.location.capture。 另外还提供了ngx.location.capture_multi用于并发发出多个请求,这样总的响应时间是最慢的一个,批量调用时有用。

4、example.conf配置文件

Java代码  
  1. location /lua_http_2 {
  2. default_type 'text/html';
  3. lua_code_cache on;
  4. content_by_lua_file /usr/example/lua/test_http_2.lua;
  5. }

5、访问如http://192.168.1.2/lua_http_2进行测试可以看到淘宝搜索界面。

我们通过upstream+ngx.location.capture方式虽然麻烦点,但是得到更好的性能和upstream的连接池、负载均衡、故障转移、proxy cache等特性。

不过因为继承在当前请求的请求头,所以可能会存在一些问题,比较常见的就是gzip压缩问题,ngx.location.capture不会解压缩后端服务器的GZIP内容,解决办法可以参考https://github.com/openresty/lua-nginx-module/issues/12;因为我们大部分这种http调用的都是内部服务,因此完全可以在proxy location中添加proxy_pass_request_headers off;来不传递请求头。

来源:http://jinnianshilongnian.iteye.com/blog/2187328

第五章 常用Lua开发库1-redis、mysql、http客户端相关推荐

  1. 第五章 常用Lua开发库2-JSON库、编码转换、字符串处理

    JSON库 在进行数据传输时JSON格式目前应用广泛,因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能:目前Lua也有几个JSON库,本人用过cjson.dkjson.其中cjson的 ...

  2. 第五章 常用Lua开发库3-模板渲染

    动态web网页开发是Web开发中一个常见的场景,比如像京东商品详情页,其页面逻辑是非常复杂的,需要使用模板技术来实现.而Lua中也有许多模板引擎,如目前我在使用的lua-resty-template, ...

  3. [单刷APUE系列]第五章——标准I/O库

    目录 [单刷APUE系列]第一章--Unix基础知识[1] [单刷APUE系列]第一章--Unix基础知识[2] [单刷APUE系列]第二章--Unix标准及实现 [单刷APUE系列]第三章--文件I ...

  4. 【Python】推荐五个常用的图像处理库

    1. 引言 Python目前是世界上使用最多的编程语言之一.它能够以更少的工作量和更少的代码行数来完成许多事情.它还可以使用很少的代码行来方便地编辑和创建图像. 本文重点介绍,在图像处理领域,我们最常 ...

  5. 19年8月 字母哥 第四章 常用web开发数据库框架 不要用公司网络加载不出来 用热点!!!

    第四章 常用web开发数据库框架 4.1.整合Spring JDBC操作数据 4.2 Spring JDBC多数据源的实现 4.3.Spring JDBC JTA实现分布式事务 4.4.ORM主流框架 ...

  6. 概率论||期末考试复习手写笔记-第五六七章(知识点+例题)第五章 常用统计分布 第六章 参数估计 第七章 假设检验

    第五章  常用统计分布 考点一:常用统计量 考点二:三大统计分布 考点三:抽样分布(单正态总体+双正态总体) 第六章 参数估计 考点一: 估计量的评价标准(无偏性+有效性+相合性) 考点二:点估计的常 ...

  7. 【第三章:Java开发岗:Redis篇】

    点击:[第一章:Java开发岗:基础篇] HashMap.Synchronized.ThreadLocal.AQS.线程池.JVM内存模型.内存屏障.class文件结构.类加载 机制.双亲委派.垃圾回 ...

  8. 《NodeJS开发指南》第五章微博实例开发总结

    所有文章搬运自我的个人主页:sheilasun.me <NodeJS开发指南>这本书用来NodeJS入门真是太好了,而且书的附录部分还讲到了闭包.this等JavaScript常用特性.第 ...

  9. APUE学习笔记:第五章 标准I/O库

    5.1 引言 标准I/O库处理很多细节,例如缓冲区分配,以优化长度执行I/O等.这些处理不必担心如何使用正确的块长度.这使得它便于用户使用,但是如果不较深入地了解I/O库函数的操作,也会带来一些问题 ...

最新文章

  1. 【OpenCV 4开发详解】图像LUT查找表
  2. python递归函数讲解_Python递归函数实例讲解
  3. Windows 使用命令执行 sql 脚本文件
  4. softmax函数与交叉熵损失函数
  5. mysql本身主从_Mysql主从复制
  6. PHP解决方案@时间差异计算函数
  7. jmeter中CSV Data Set Config的使用
  8. Java全栈开发---Java ERP系统开发:商业ERP(七
  9. html鼠标悬停box变色,ToolTip鼠标悬停的使用
  10. teamviewer超时后连接被阻断。您的许可证对您与伙伴的最大话时间有所限制
  11. 眼镜商城开发,让眼镜世界更丰富
  12. BZOJ4516 [Sdoi2016]生成魔咒 后缀自动机/后缀数组
  13. ROS2学习(1)ROS2简述
  14. ClassLayout ,JOL Maven地址及锁64位状态图
  15. 善用性能工具进行SQL整体优化
  16. js中replace函数的使用
  17. 微信小程序之微信登陆 —— 微信小程序教程系列(20)
  18. 【SGU】117. Counting 快速幂
  19. Nginx从入门到应用-姜威-专题视频课程
  20. 记一次阿里云ECS服务器centos6.5无法使用epel源的爬坑

热门文章

  1. redis的基本使用笔记二
  2. 3.将maven项目jar纳入maven仓库,Mave项目依赖另外一个Maven项目的案例
  3. pythonfor循环100次_在for循环中只打印一次
  4. 基于ZF网络的Faster RCNN网络结构详解(非常详细版)
  5. Visual Studio——多字节编码与Unicode码
  6. linux2.6驱动学习笔记之字符驱动
  7. 用python同时画多个分布图
  8. C++const类型的引用参数
  9. MybatisPlus 多租户架构(Multi-tenancy)实现
  10. 颠覆传统4S店,特斯拉发布智能售后服务体系