Flask+gunicorn+nginx部署python

1. 目标

        由于Flask是一个轻量级的Web框架,自带app.run()方法能够提供http接口服务,测试环境下测试非常方便,但是如果在生产环境上单纯使用Flask还是会有些欠缺,如不支持多进程,不支持负载均衡。
        一般是将Flask服务部署到gunicorn中,看自己业务需要是否需要添加nginx,以下摘自知乎(https://www.zhihu.com/question/38528616/answer/116118895):

  1. 负载均衡。tornado之类的框架只支持单核,所以多进程部署需要反向负载均衡。gunicorn本身就是多进程其实不需要。
  2. 静态文件支持。经过配置之后,nginx可以直接处理静态文件请求而不用经过Python服务器,Python服务器也可以返回特殊的http头将请求rewrite到静态文件。我说的是经过配置之后,你配置了吗?
  3. 抗并发压力。虽然不能提升qps,但是多一层前端,的确可以吸收一些瞬时的并发请求,让nginx先保持住连接,然后后端慢慢消化,但说实话这种情况下服务体验已经很糟糕了。但的确比服务挂掉强一些。
  4. rewrite之类的其他功能。配置了才有,配了吗?
  5. 怕gunicorn的http解析有bug。这个姑且算有点道理,不过加一层负载均衡不一定能解决问题。

        在这里我采用底层是用Flask,中间层用gunicorn,前端使用nginx的方式部署python Web服务。

2. 安装步骤

2.1 python环境

首先你要有个python环境,这里安装的是Anaconda3 Linux版本(下载地址:https://repo.anaconda.com/archive/Anaconda3-2018.12-Linux-x86_64.sh)

$ wget https://repo.anaconda.com/archive/Anaconda3-2018.12-Linux-x86_64.sh
$ sh Anaconda3-2018.12-Linux-x86_64.sh #运行安装脚本
image.png

如果不想改变原有的环境变量,可以选择yes之后再剪切出来~/.bashrc下面的内容当作python3环境的激活文件。
由于我这台服务器本身存在了python2,所以为了不污染原来的环境,安装好之后将~/.bashrc文件里下面的这块剪切到新的一个文件里source_python3:


image.png

这样每次使用python3的时候 直接source source_python3即可。

官方的安装源一般下载较慢较慢,可以修改pip的安装源为:

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host = pypi.tuna.tsinghua.edu.cn

命名为pip.conf, 拷贝到~/.pip/下.如果没有.pip文件夹,需要新建个。

2.2 创建虚拟环境virtualenv

        当在同一台服务器有多个python项目时,项目越多,同时使用不同版本的 Python 工作的可能性也就越大,或者起码需要不同版本的 Python 库。悲惨现实是:常常会有库破坏向后兼容性,然而正经应用不采用外部库的可能微乎其微。当在你的项目中,出现两个或更多依赖性冲突时,你会怎么做?
        virtualenv 拯救世界!virtualenv 为每个不同项目提供一份 Python 安装。它并没有真正安装多个 Python 副本,但是它确实提供了一种巧妙的方式来让各项目环境保持独立。

$ pip install virtualenv
$ mkdir myproject ##创建某项目文件夹
$ cd myproject
$ virtualenv venv ##创建venv文件夹
New python executable in venv/bin/python
Installing distribute............done.
$ source venv/bin/activate ##激活虚拟环境
(venv) $ pip install Flask ##在激活的虚拟环境中安装Flask

这里当安装了Anaconda3之后,也可以直接使用

cd myproject #进入项目文件夹
python -m venv venv #创建虚拟环境
source venv/bin/activate #激活虚拟环境

现在虚拟环境已经创建,并在虚拟环境下安装好了Flask。

如果是本地测试环境使用的是Anaconda可以使用conda create -n venv即可创虚拟环境。
conda activate venv ##激活虚拟环境
conda deactivate #退出虚拟环境

2.3 安装gunicorn

Gunicorn (独角兽)是一个高效的Python WSGI Server,地位相当于Java中的Tomcat。
首先需要激活上述的虚拟环境

$ source venv/bin/activate ##激活虚拟环境
(venv) $ pip install gunicorn ##安装gunicorn

2.4 采用gunicorn 启动Flask程序

如下的一个简单的测试Flask程序wsgi.py文件,test接口返回接收的参数。

#--------------wsgi.py---------------
from flask import Flask
from flask import request
app = Flask(__name__)

@app.route('/test', method=['GET'])
def test():
  content = request.args.get('content')
  return content
if __name__ == '__main__':
  app.run()

采用如下命令启动

(venv) $ gunicorn -w 4 -b 0.0.0.1:9001 wsgi:app

这里gunicorn的命令对应参数含义如下:

  1. -w: 代表启动4个进程,可以通过ps -ef | grep 9001可以看到四个PID;
  2. -b: 打标绑定的IP和端口号,0.0.0.1表示不仅仅能在本台机器上访问,外网也可以访问,绑定的为9001端口
  3. wsgi:app, wsgi代表文件名,app为对应到该文件中创建的Flask对象
    此外还有其他参数:
  4. --log-level LEVEL:表示日志级别,测试可以用DEBUG
  5. --timeout: 超时时间,单位是秒

此时在浏览器里输入http://ip:9001/test&content=测试
页面上会显示“测试”,其中ip为启动该程序的机器IP。

可以多启动gunicorn节点,如(venv) $ gunicorn -w 4 -b 0.0.0.1:9002 wsgi:app
绑定了9002端口,相当于现在http://ip:9002/test&content=测试 也是可以访问的。
当测试正常时,执行

pip freeze > requirements.txt

将在虚拟环境中安装的包记录到requirements.txt里:


image.png

当该项目被迁移到其他机器时,直接运行

pip install -r requirements.txt #安装所需要的包

2.5 Nginx负载均衡

这里采用的单台机器 多个端口节点来实现负载均衡。

$ wget https://nginx.org/download/nginx-1.14.0.tar.gz ##下载nginx源码
$ tar -zxvf nginx-1.14.0.tar.gz ##解压
$ cd nginx-1.14.0
$ ./configure --prefix=../nginx  ##安装到上层的nginx目录下
$ make  ##编译
$ make install #安装
$ cd ../可以看到有nginx-1.14.0和nginx两个文件夹,nginx-1.14.0是源码文件夹,nginx是安装文件夹

进入到nginx/conf/nginx.conf修改配置文件:

# 转发的两个节点,这里是单台机器的两个端口
upstream mycluster {
   server 127.0.0.1:9001 weight=1;
   server 127.0.0.1:9002 weight=1;
}
server {
    listen 9000; #暴露出去的端口号是9000
    server_name 127.0.01; # 暴露出去的IP是本台机器IP

    location / {
        proxy_pass http://mucluster; # 这里是upstream的名称
        root html;
       index index.html index.html;
    }
  }

启动nginx

$ cd nginx ##进入nginx安装目录
$ ./sbin/nginx ##启动nginx

如果有修改配置文件,需要重新启动nginx

$ cd nginx ##进入nginx安装目录
$ ./sbin/nginx -t ##验证nginx配置文件是否正确,看到nginx.conf test is successful说明配置文件正确
$ ./sbin/nginx -s reload ##启动nginx

至此,部署完成,直接访问http://ip:9000/test?content=测试即可通过nginx转发请求。

3. 参考

  1. https://www.zhihu.com/question/38528616/answer/116118895
  2. http://docs.jinkan.org/docs/flask/
  3. https://gunicorn.org/
  4. https://www.cnblogs.com/codingcloud/p/5095066.html
  5. https://www.cnblogs.com/yzf666/p/9681858.html
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345