码迷，mamicode.com
首页 > 数据库 > 详细

nginx lua mysql 设置

时间：2016-07-02 13:05:58      阅读：253      评论：0      收藏：0      [点我收藏+]

标签：

最近公司网站改版，程序和数据库全部用新版，旧版的数据要导入，旧网站的30万条数据url要全部重定向到新版网站，正好前段时间在学习nginx+lua+mysql+memcache（redis），找资料真费劲，记录下来，以备查询

对于开发来说需要有好的生态开发库来辅助我们快速开发，而Lua中也有大多数我们需要的第三方开发库如Redis、Memcached、Mysql、Http客户端、JSON、模板引擎等。

一些常见的Lua库可以在github上搜索，https://github.com/search?utf8=%E2%9C%93&q=lua+resty。

 

Redis客户端

lua-resty-redis是为基于cosocket API的ngx_lua提供的Lua redis客户端，通过它可以完成Redis的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考https://github.com/openresty/lua-resty-redis。

 

在测试之前请启动Redis实例：

nohup /usr/servers/redis-2.8.19/src/redis-server  /usr/servers/redis-2.8.19/redis_6660.conf &

 

1、基本操作

 

编辑test_redis_baisc.lua

Java代码  
  1. local function close_redis(red)  
  2.     if not red then  
  3.         return  
  4.     end  
  5.     local ok, err = red:close()  
  6.     if not ok then  
  7.         ngx.say("close redis error : ", err)  
  8.     end  
  9. end  
  10.   
  11. local redis = require("resty.redis")  
  12.   
  13. --创建实例  
  14. local red = redis:new()  
  15. --设置超时（毫秒）  
  16. red:set_timeout(1000)  
  17. --建立连接  
  18. local ip = "127.0.0.1"  
  19. local port = 6660  
  20. local ok, err = red:connect(ip, port)  
  21. if not ok then  
  22.     ngx.say("connect to redis error : ", err)  
  23.     return close_redis(red)  
  24. end  
  25. --调用API进行处理  
  26. ok, err = red:set("msg", "hello world")  
  27. if not ok then  
  28.     ngx.say("set msg error : ", err)  
  29.     return close_redis(red)  
  30. end  
  31.   
  32. --调用API获取数据  
  33. local resp, err = red:get("msg")  
  34. if not resp then  
  35.     ngx.say("get msg error : ", err)  
  36.     return close_reedis(red)  
  37. end  
  38. --得到的数据为空处理  
  39. if resp == ngx.null then  
  40.     resp = ‘‘  --比如默认值  
  41. end  
  42. ngx.say("msg : ", resp)  
  43.   
  44. close_redis(red)  

基本逻辑很简单，要注意此处判断是否为nil，需要跟ngx.null比较。

 

2、example.conf配置文件

Java代码  
  1.  location /lua_redis_basic {  
  2.     default_type ‘text/html‘;  
  3.     lua_code_cache on;  
  4.     content_by_lua_file /usr/example/lua/test_redis_basic.lua;  
  5. }  

  

3、访问如http://192.168.1.2/lua_redis_basic进行测试，正常情况得到如下信息

msg : hello world

 

2、连接池

建立TCP连接需要三次握手而释放TCP连接需要四次握手，而这些往返时延仅需要一次，以后应该复用TCP连接，此时就可以考虑使用连接池，即连接池可以复用连接。

我们只需要将之前的close_redis函数改造为如下即可： 

Java代码  
  1. local function close_redis(red)  
  2.     if not red then  
  3.         return  
  4.     end  
  5.     --释放连接(连接池实现)  
  6.     local pool_max_idle_time = 10000 --毫秒  
  7.     local pool_size = 100 --连接池大小  
  8.     local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)  
  9.     if not ok then  
  10.         ngx.say("set keepalive error : ", err)  
  11.     end  
  12. end  

即设置空闲连接超时时间防止连接一直占用不释放；设置连接池大小来复用连接。

 

此处假设调用red:set_keepalive()，连接池大小通过nginx.conf中http部分的如下指令定义：

#默认连接池大小，默认30

lua_socket_pool_size 30;

#默认超时时间,默认60s

lua_socket_keepalive_timeout 60s;

 

注意：

1、连接池是每Worker进程的，而不是每Server的；

2、当连接超过最大连接池大小时，会按照LRU算法回收空闲连接为新连接使用；

3、连接池中的空闲连接出现异常时会自动被移除；

4、连接池是通过ip和port标识的，即相同的ip和port会使用同一个连接池（即使是不同类型的客户端如Redis、Memcached）；

5、连接池第一次set_keepalive时连接池大小就确定下了，不会再变更；

5、cosocket的连接池http://wiki.nginx.org/HttpLuaModule#tcpsock:setkeepalive。

 

3、pipeline

pipeline即管道，可以理解为把多个命令打包然后一起发送；MTU（Maxitum Transmission Unit 最大传输单元）为二层包大小，一般为1500字节；而MSS（Maximum Segment Size 最大报文分段大小）为四层包大小，其一般是1500-20（IP报头）-20（TCP报头）=1460字节；因此假设我们执行的多个Redis命令能在一个报文中传输的话，可以减少网络往返来提高速度。因此可以根据实际情况来选择走pipeline模式将多个命令打包到一个报文发送然后接受响应，而Redis协议也能很简单的识别和解决粘包。

 

1、修改之前的代码片段

Java代码  
  1. red:init_pipeline()  
  2. red:set("msg1", "hello1")  
  3. red:set("msg2", "hello2")  
  4. red:get("msg1")  
  5. red:get("msg2")  
  6. local respTable, err = red:commit_pipeline()  
  7.   
  8. --得到的数据为空处理  
  9. if respTable == ngx.null then  
  10.     respTable = {}  --比如默认值  
  11. end  
  12.   
  13. --结果是按照执行顺序返回的一个table  
  14. for i, v in ipairs(respTable) do  
  15.    ngx.say("msg : ", v, "<br/>")  
  16. end  

通过init_pipeline()初始化，然后通过commit_pipieline()打包提交init_pipeline()之后的Redis命令；返回结果是一个lua table，可以通过ipairs循环获取结果；

 

2、配置相应location，测试得到的结果

msg : OK
msg : OK
msg : hello1
msg : hello2

 

 

3、Redis Lua脚本

利用Redis单线程特性，可以通过在Redis中执行Lua脚本实现一些原子操作。如之前的red:get("msg")可以通过如下两种方式实现：

1、直接eval：

Java代码  
  1. local resp, err = red:eval("return redis.call(‘get‘, KEYS[1])", 1, "msg");   

2、script load然后evalsha  SHA1 校验和，这样可以节省脚本本身的服务器带宽：

Java代码  
  1. local sha1, err = red:script("load",  "return redis.call(‘get‘, KEYS[1])");  
  2. if not sha1 then  
  3.    ngx.say("load script error : ", err)  
  4.    return close_redis(red)  
  5. end  
  6. ngx.say("sha1 : ", sha1, "<br/>")  
  7. local resp, err = red:evalsha(sha1, 1, "msg");  

首先通过script load导入脚本并得到一个sha1校验和（仅需第一次导入即可），然后通过evalsha执行sha1校验和即可，这样如果脚本很长通过这种方式可以减少带宽的消耗。 

 

此处仅介绍了最简单的redis lua脚本，更复杂的请参考官方文档学习使用。

 

另外Redis集群分片算法该客户端没有提供需要自己实现，当然可以考虑直接使用类似于Twemproxy这种中间件实现。

Memcached客户端使用方式和本文类似，本文就不介绍了。

 

Mysql客户端

lua-resty-mysql是为基于cosocket API的ngx_lua提供的Lua Mysql客户端，通过它可以完成Mysql的操作。默认安装OpenResty时已经自带了该模块，使用文档可参考https://github.com/openresty/lua-resty-mysql。

 

1、编辑test_mysql.lua

Java代码  
  1. local function close_db(db)  
  2.     if not db then  
  3.         return  
  4.     end  
  5.     db:close()  
  6. end  
  7.   
  8. local mysql = require("resty.mysql")  
  9. --创建实例  
  10. local db, err = mysql:new()  
  11. if not db then  
  12.     ngx.say("new mysql error : ", err)  
  13.     return  
  14. end  
  15. --设置超时时间(毫秒)  
  16. db:set_timeout(1000)  
  17.   
  18. local props = {  
  19.     host = "127.0.0.1",  
  20.     port = 3306,  
  21.     database = "mysql",  
  22.     user = "root",  
  23.     password = "123456"  
  24. }  
  25.   
  26. local res, err, errno, sqlstate = db:connect(props)  
  27.   
  28. if not res then  
  29.    ngx.say("connect to mysql error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  30.    return close_db(db)  
  31. end  
  32.   
  33. --删除表  
  34. local drop_table_sql = "drop table if exists test"  
  35. res, err, errno, sqlstate = db:query(drop_table_sql)  
  36. if not res then  
  37.    ngx.say("drop table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  38.    return close_db(db)  
  39. end  
  40.   
  41. --创建表  
  42. local create_table_sql = "create table test(id int primary key auto_increment, ch varchar(100))"  
  43. res, err, errno, sqlstate = db:query(create_table_sql)  
  44. if not res then  
  45.    ngx.say("create table error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  46.    return close_db(db)  
  47. end  
  48.   
  49. --插入  
  50. local insert_sql = "insert into test (ch) values(‘hello‘)"  
  51. res, err, errno, sqlstate = db:query(insert_sql)  
  52. if not res then  
  53.    ngx.say("insert error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  54.    return close_db(db)  
  55. end  
  56.   
  57. res, err, errno, sqlstate = db:query(insert_sql)  
  58.   
  59. ngx.say("insert rows : ", res.affected_rows, " , id : ", res.insert_id, "<br/>")  
  60.   
  61. --更新  
  62. local update_sql = "update test set ch = ‘hello2‘ where id =" .. res.insert_id  
  63. res, err, errno, sqlstate = db:query(update_sql)  
  64. if not res then  
  65.    ngx.say("update error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  66.    return close_db(db)  
  67. end  
  68.   
  69. ngx.say("update rows : ", res.affected_rows, "<br/>")  
  70. --查询  
  71. local select_sql = "select id, ch from test"  
  72. res, err, errno, sqlstate = db:query(select_sql)  
  73. if not res then  
  74.    ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  75.    return close_db(db)  
  76. end  
  77.   
  78.   
  79. for i, row in ipairs(res) do  
  80.    for name, value in pairs(row) do  
  81.      ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")  
  82.    end  
  83. end  
  84.   
  85. ngx.say("<br/>")  
  86. --防止sql注入  
  87. local ch_param = ngx.req.get_uri_args()["ch"] or ‘‘  
  88. --使用ngx.quote_sql_str防止sql注入  
  89. local query_sql = "select id, ch from test where ch = " .. ngx.quote_sql_str(ch_param)  
  90. res, err, errno, sqlstate = db:query(query_sql)  
  91. if not res then  
  92.    ngx.say("select error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  93.    return close_db(db)  
  94. end  
  95.   
  96. for i, row in ipairs(res) do  
  97.    for name, value in pairs(row) do  
  98.      ngx.say("select row ", i, " : ", name, " = ", value, "<br/>")  
  99.    end  
  100. end  
  101.   
  102. --删除  
  103. local delete_sql = "delete from test"  
  104. res, err, errno, sqlstate = db:query(delete_sql)  
  105. if not res then  
  106.    ngx.say("delete error : ", err, " , errno : ", errno, " , sqlstate : ", sqlstate)  
  107.    return close_db(db)  
  108. end  
  109.   
  110. ngx.say("delete rows : ", res.affected_rows, "<br/>")  
  111.   
  112.   
  113. close_db(db)  

 

对于新增/修改/删除会返回如下格式的响应：

Java代码  
  1. {  
  2.     insert_id = 0,  
  3.     server_status = 2,  
  4.     warning_count = 1,  
  5.     affected_rows = 32,  
  6.     message = nil  
  7. }  

affected_rows表示操作影响的行数，insert_id是在使用自增序列时产生的id。

 

对于查询会返回如下格式的响应：

Java代码  
  1. {  
  2.     { id= 1, ch= "hello"},  
  3.     { id= 2, ch= "hello2"}  
  4. }  

null将返回ngx.null。

 

2、example.conf配置文件

Java代码  
  1. location /lua_mysql {  
  2.    default_type ‘text/html‘;  
  3.    lua_code_cache on;  
  4.    content_by_lua_file /usr/example/lua/test_mysql.lua;  
  5. }  
 

3、访问如http://192.168.1.2/lua_mysql?ch=hello进行测试，得到如下结果

Java代码  
  1. insert rows : 1 , id : 2  
  2. update rows : 1  
  3. select row 1 : ch = hello  
  4. select row 1 : id = 1  
  5. select row 2 : ch = hello2  
  6. select row 2 : id = 2  
  7. select row 1 : ch = hello  
  8. select row 1 : id = 1  
  9. delete rows : 2  

客户端目前还没有提供预编译SQL支持（即占位符替换位置变量），这样在入参时记得使用ngx.quote_sql_str进行字符串转义，防止sql注入；连接池和之前Redis客户端完全一样就不介绍了。

 

对于Mysql客户端的介绍基本够用了，更多请参考https://github.com/openresty/lua-resty-mysql。

 

其他如MongoDB等数据库的客户端可以从github上查找使用。

 

Http客户端

OpenResty默认没有提供Http客户端，需要使用第三方提供；当然我们可以通过ngx.location.capture 去方式实现，但是有一些限制，后边我们再做介绍。

 

我们可以从github上搜索相应的客户端，比如https://github.com/pintsized/lua-resty-http。

 

lua-resty-http

 

1、下载lua-resty-http客户端到lualib 

Java代码  
  1. cd /usr/example/lualib/resty/  
  2. wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http_headers.lua  
  3. wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http.lua  
 

2、test_http_1.lua

Java代码  
  1. local http = require("resty.http")  
  2. --创建http客户端实例  
  3. local httpc = http.new()  
  4.   
  5. local resp, err = httpc:request_uri("http://s.taobao.com", {  
  6.     method = "GET",  
  7.     path = "/search?q=hello",  
  8.     headers = {  
  9.         ["User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36"  
  10.     }  
  11. })  
  12.   
  13. if not resp then  
  14.     ngx.say("request error :", err)  
  15.     return  
  16. end  
  17.   
  18. --获取状态码  
  19. ngx.status = resp.status  
  20.   
  21. --获取响应头  
  22. for k, v in pairs(resp.headers) do  
  23.     if k ~= "Transfer-Encoding" and k ~= "Connection" then  
  24.         ngx.header[k] = v  
  25.     end  
  26. end  
  27. --响应体  
  28. ngx.say(resp.body)  
  29.   
  30. httpc:close()  

 

响应头中的Transfer-Encoding和Connection可以忽略，因为这个数据是当前server输出的。

 

3、example.conf配置文件

Java代码  
  1. location /lua_http_1 {  
  2.    default_type ‘text/html‘;  
  3.    lua_code_cache on;  
  4.    content_by_lua_file /usr/example/lua/test_http_1.lua;  
  5. }  
4、在nginx.conf中的http部分添加如下指令来做DNS解析
Java代码  
  1. resolver 8.8.8.8;  
记得要配置DNS解析器resolver 8.8.8.8，否则域名是无法解析的。
5、访问如http://192.168.1.2/lua_http_1会看到淘宝的搜索界面。

使用方式比较简单，如超时和连接池设置和之前Redis客户端一样，不再阐述。更多客户端使用规则请参考https://github.com/pintsized/lua-resty-http。

 

ngx.location.capture

ngx.location.capture也可以用来完成http请求，但是它只能请求到相对于当前nginx服务器的路径，不能使用之前的绝对路径进行访问，但是我们可以配合nginx upstream实现我们想要的功能。

 

1、在nginx.cong中的http部分添加如下upstream配置

Java代码  
  1. upstream backend {  
  2.     server s.taobao.com;  
  3.     keepalive 100;  
  4. }  

即我们将请求upstream到backend；另外记得一定要添加之前的DNS解析器。

 

2、在example.conf配置如下location

Java代码  
  1. location ~ /proxy/(.*) {  
  2.    internal;  
  3.    proxy_pass http://backend/$1$is_args$args;  
  4. }  

internal表示只能内部访问，即外部无法通过url访问进来； 并通过proxy_pass将请求转发到upstream。

 

3、test_http_2.lua

Java代码  
  1. local resp = ngx.location.capture("/proxy/search", {  
  2.     method = ngx.HTTP_GET,  
  3.     args = {q = "hello"}  
  4.   
  5. })  
  6. if not resp then  
  7.     ngx.say("request error :", err)  
  8.     return  
  9. end  
  10. ngx.log(ngx.ERR, tostring(resp.status))  
  11.   
  12. --获取状态码  
  13. ngx.status = resp.status  
  14.   
  15. --获取响应头  
  16. for k, v in pairs(resp.header) do  
  17.     if k ~= "Transfer-Encoding" and k ~= "Connection" then  
  18.         ngx.header[k] = v  
  19.     end  
  20. end  
  21. --响应体  
  22. if resp.body then  
  23.     ngx.say(resp.body)  
  24. end  

通过ngx.location.capture发送一个子请求，此处因为是子请求，所有请求头继承自当前请求，还有如ngx.ctx和ngx.var是否继承可以参考官方文档http://wiki.nginx.org/HttpLuaModule#ngx.location.capture。 另外还提供了ngx.location.capture_multi用于并发发出多个请求，这样总的响应时间是最慢的一个，批量调用时有用。

 

4、example.conf配置文件

Java代码  
  1. location /lua_http_2 {  
  2.    default_type ‘text/html‘;  
  3.    lua_code_cache on;  
  4.    content_by_lua_file /usr/example/lua/test_http_2.lua;  
  5. }  

 

5、访问如http://192.168.1.2/lua_http_2进行测试可以看到淘宝搜索界面。

 

我们通过upstream+ngx.location.capture方式虽然麻烦点，但是得到更好的性能和upstream的连接池、负载均衡、故障转移、proxy cache等特性。

 

不过因为继承在当前请求的请求头，所以可能会存在一些问题，比较常见的就是gzip压缩问题，ngx.location.capture不会解压缩后端服务器的GZIP内容，解决办法可以参考https://github.com/openresty/lua-nginx-module/issues/12；因为我们大部分这种http调用的都是内部服务，因此完全可以在proxy location中添加proxy_pass_request_headers off;来不传递请求头。

nginx lua mysql 设置

标签：

原文地址：http://www.cnblogs.com/dawq/p/5635063.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！