我们能用lua做什么

lua是一个巴西人设计的小巧的脚本语言,它的设计目的是为了能够嵌入到应用程序中,从而为应用程序提供灵活的扩展和定制功能。

作为web开发工程师,我们平时主要使用的开发语言是php。这个语言提供了对html模版的强大的处理能力,也提供了十分丰富的函数库及扩展,非常的适合web开发使用。那么lua是如何进入到我们的视线中的呢?在这里我先说下我在开发一个web产品时,会优先考虑的几个问题:

  1. 如何保证服务的稳定性,即如何防止白屏、50x错误的发生。
  2. 如何提高页面的响应速度,即让用户感觉页面打开足够快。
  3. 那么在用php解决这几个问题时,是否够用呢?答案在我看来是否定的,为什么这么说呢?请听我分别道来:

php在处理服务稳定性时的不足

先简单说下由php导致的服务异常原因:

  1. php语法错误、运行时的异常都会导致500错误,这在用户端浏览器就会显示出白屏。
  2. 在使用nginx + php-cgi这种组合提供动态web服务时,当后台cgi进程挂掉或数量不够用时,即会产生502错误;当php执行时遭遇阻塞(如连db时,db压力过大),而在nginx中配置的超时时间到达后,通常会产生504错误。

这几种异常本身都是由于php导致的,当然不能靠php去解决。

webserver如nginx提供了如error_page这种用于处理当服务产生异常时的后续处理机制,为了不让用户看到白屏或错误页面,我们可以定时对正常服务时的页面做一个快照,当遇到服务异常时,就给用户这个历史快照看。

但这样做也有个局限性:当你提供服务的页面很多时,又或是需要根据请求的参数做一些逻辑上的处理时,显然就很难做到了。

你也许会说,我可以写nginx配置,让它分析请求参数,再做相应的逻辑处理。但是这样做的话,想想看你的nginx配置会有多么的复杂,多么的难以维护,而且就算你这样做,也不能解决所有的问题。比如说我有个接口要输出json字符串,或是其它别的格式,你总不能说我再去写个nginx扩展让它支持json吧。

所以,在提高服务的稳定性方面,我们的需求是:

  1. 能用到webserver提供的错误处理机制。
  2. 能方便的处理请求参数,做需要的逻辑处理。

php在提高用户响应速度方面的不足

php是一个阻塞式顺序执行的脚本语言,虽然支持多进程执行,但这种模式并不适合使用在并发量很高的web服务中。

想像如果一个请求的处理过程中,你需要调用到多处外部资源或服务(db、rest接口),那么你的处理速度就要依赖于这些外部服务,而且是一个一个顺序处理的,它们越多,处理就越慢。

php的multi_curl可以用来并发请求这些外部的rest服务,但这样做的话,依旧需要等全部的请求都处理完成,才能返回给用户。换句话说,如果某个外部服务很慢,那么用户看到页面打开依旧会很慢。

也可以选择把页面分块,让慢的部分用js异步请求加载。但这样做的话,会增加服务器的访问量,每增加一块,访问量会增大一倍。

所以,在提高页面的响应速度方面,我们的需求是:

  1. 耗时慢的服务能够做到异步加载,服务端每完成一部分的计算,就让页面展示这部分。
  2. 不能过大的增加服务器的压力。

nginx-lua模块

最终,我们找到了nginx-lua?模块。这个模块会在每个nginx的worker_process中启动一个lua解释器,在nginx处理http请求的11个阶段中,你可以在其中的多个阶段用lua代码处理请求。

这二者的结合,给我们的web开发带来了新的思路。下面我就来说下导航目前是如何使用它来解决问题的。

解决服务稳定性

这里的思路很简单,我们会在error_page指令被执行后,用lua代码来接受参数,处理逻辑部分,最终会返回前端和用php处理看起来一致的内容。部分代码如下:

nginx_conf:

location ~* ^/api/.+/.+$ {
    error_page 500 502 503 504 =200 @jump_to_error_page_api;

    rewrite ^/api/(.+)/(.+)$ /index.php?_c=$1&_a=$2 break;
    root /home/ligang/demo/src/api/;

    fastcgi_pass 127.0.0.1:9000;
    include fastcgi.conf;
    fastcgi_connect_timeout 5s;
    fastcgi_send_timeout 5s;
    fastcgi_read_timeout 5s;
    fastcgi_intercept_errors on;
}

location @jump_to_error_page_api {
    lua_code_cache on;

    set $prj_home " /home/ligang/demo";

    content_by_lua_file  /home/ligang/demo/src/glue/error_page_api.lua;
}

这里大家看到,当请求出现50x错误时,会跳到location jump_to_error_page_api中,在这里面,content_by_lua_file指令会在content处理阶段启动指定好的lua脚本(这里是error_page_api.lua)来处理请求。我们再看下lua脚本中都做了什么:

lua示例代码:

ngx.header['Content-Type'] = 'text/html'
prj_home     = ngx.var.prj_home
request_args = ngx.req.get_uri_args()

local controller = request_args['_c']
local action     = request_args['_a']

if 'demo' == controller
then
    processErrorPageApiDemo(action)
else
    ngx.print('invalid controller')
end
......

这里大家可以看到,我们可以在lua脚本中接受请求参数,做和php一样的逻辑,最终输出前端需要的正确的内容。

目前这套机制我们已经用在我们这边的一个重要用户页面上,目前都没有收到用户反馈说页面打不开,出现错误页这种,效果很是明显。

提高用户页面的响应速度

上面提到的解决响应速度的几个需求,我们的思路是引入bigpipe的处理机制。关于bigpipe本文不做讲解,大家可以自行google。这个项目目前尚处于实验阶段,但我们已经实现了一个简单的demo:

nginx_conf:

location = /index.php { 
    content_by_lua_file  /home/ligang/demo/src/glue/bigpipe_index.lua;
}

这里指定请求index.php会用bigpipe_index.lua处理。

lua代码:

-- for header
ngx.header.content_type = 'text/html';
ngx.say("<html><head><title>Test Bigpipe</title></head><body>")
ngx.flush()

local capture = ngx.location.capture
local spawn = ngx.thread.spawn
local wait = ngx.thread.wait
local say = ngx.say

local function section_top()--{{{
    ngx.say("<div id='section_top'>this is top section.</div>")
    ngx.flush()
end--}}}

local function section_php(sleep) --{{{
    local res = ngx.location.capture("/content.php?sleep="..sleep)
    ngx.say(res.body)
    ngx.flush()
end--}}}

-- for body   
local threads = {
    spawn(section_top),       --这里处理没有延迟
    spawn(section_php, "1"),  --这里的处理逻辑会sleep1秒
    spawn(section_php, "5"),  --这里的处理逻辑会sleep4秒
}

for i=1, #threads do
ngx.say("<div>before wait</div>")
    wait(threads[i])
end

ngx.say("<div>all contents are loaded</div>")
ngx.say("</body></html>")
......

这里在处理请求时,大致逻辑如下:

  1. 首先会先吐出首屏html部分及部分html框架代码。
  2. 接下来会启动3个lua协程,在nginx-lua这个模块的调度下以异步非阻塞的模式并发的来处理3个外部请求。
  3. 这3个外部请求各自的延时不同,但是任何一部分处理完成,都会直接返回给前端用于展示。

通过这种方式,用户的页面响应速度得到了明显的提高,体验更好。

结束语

正如lua官方给出的定义所说,lua很小巧,非常的适合嵌入已有的应用程序中,从而补足现有系统的一些缺憾,并扩展出新的功能。对nginx-lua模块的使用,笔者也还在研究中,但我相信更好的使用它,能为我们现有的web开发打开一扇新的窗户,理解更深层次的知识。

参考资料

听我说完这些你有没有心动想用用看?那么在最后附上相关参考资料:

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容