1. 目标
由于Flask是一个轻量级的Web框架,自带app.run()方法能够提供http接口服务,测试环境下测试非常方便,但是如果在生产环境上单纯使用Flask还是会有些欠缺,如不支持多进程,不支持负载均衡。
一般是将Flask服务部署到gunicorn中,看自己业务需要是否需要添加nginx,以下摘自知乎(https://www.zhihu.com/question/38528616/answer/116118895):
- 负载均衡。tornado之类的框架只支持单核,所以多进程部署需要反向负载均衡。gunicorn本身就是多进程其实不需要。
- 静态文件支持。经过配置之后,nginx可以直接处理静态文件请求而不用经过Python服务器,Python服务器也可以返回特殊的http头将请求rewrite到静态文件。我说的是经过配置之后,你配置了吗?
- 抗并发压力。虽然不能提升qps,但是多一层前端,的确可以吸收一些瞬时的并发请求,让nginx先保持住连接,然后后端慢慢消化,但说实话这种情况下服务体验已经很糟糕了。但的确比服务挂掉强一些。
- rewrite之类的其他功能。配置了才有,配了吗?
- 怕gunicorn的http解析有bug。这个姑且算有点道理,不过加一层负载均衡不一定能解决问题。
在这里我采用底层是用Flask,中间层用gunicorn,前端使用nginx的方式部署python Web服务。
2. 安装步骤
2.1 python环境
首先你要有个python环境,这里安装的是Anaconda3 Linux版本(下载地址:https://repo.anaconda.com/archive/Anaconda3-2018.12-Linux-x86_64.sh)
$ wget https://repo.anaconda.com/archive/Anaconda3-2018.12-Linux-x86_64.sh
$ sh Anaconda3-2018.12-Linux-x86_64.sh #运行安装脚本
如果不想改变原有的环境变量,可以选择yes之后再剪切出来~/.bashrc下面的内容当作python3环境的激活文件。
由于我这台服务器本身存在了python2,所以为了不污染原来的环境,安装好之后将~/.bashrc文件里下面的这块剪切到新的一个文件里source_python3:
这样每次使用python3的时候 直接source source_python3即可。
官方的安装源一般下载较慢较慢,可以修改pip的安装源为:
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host = pypi.tuna.tsinghua.edu.cn
命名为pip.conf, 拷贝到~/.pip/下.如果没有.pip文件夹,需要新建个。
2.2 创建虚拟环境virtualenv
当在同一台服务器有多个python项目时,项目越多,同时使用不同版本的 Python 工作的可能性也就越大,或者起码需要不同版本的 Python 库。悲惨现实是:常常会有库破坏向后兼容性,然而正经应用不采用外部库的可能微乎其微。当在你的项目中,出现两个或更多依赖性冲突时,你会怎么做?
virtualenv 拯救世界!virtualenv 为每个不同项目提供一份 Python 安装。它并没有真正安装多个 Python 副本,但是它确实提供了一种巧妙的方式来让各项目环境保持独立。
$ pip install virtualenv
$ mkdir myproject ##创建某项目文件夹
$ cd myproject
$ virtualenv venv ##创建venv文件夹
New python executable in venv/bin/python
Installing distribute............done.
$ source venv/bin/activate ##激活虚拟环境
(venv) $ pip install Flask ##在激活的虚拟环境中安装Flask
这里当安装了Anaconda3之后,也可以直接使用
cd myproject #进入项目文件夹
python -m venv venv #创建虚拟环境
source venv/bin/activate #激活虚拟环境
现在虚拟环境已经创建,并在虚拟环境下安装好了Flask。
如果是本地测试环境使用的是Anaconda可以使用conda create -n venv即可创虚拟环境。
conda activate venv ##激活虚拟环境
conda deactivate #退出虚拟环境
2.3 安装gunicorn
Gunicorn (独角兽)是一个高效的Python WSGI Server,地位相当于Java中的Tomcat。
首先需要激活上述的虚拟环境
$ source venv/bin/activate ##激活虚拟环境
(venv) $ pip install gunicorn ##安装gunicorn
2.4 采用gunicorn 启动Flask程序
如下的一个简单的测试Flask程序wsgi.py文件,test接口返回接收的参数。
#--------------wsgi.py---------------
from flask import Flask
from flask import request
app = Flask(__name__)
@app.route('/test', method=['GET'])
def test():
content = request.args.get('content')
return content
if __name__ == '__main__':
app.run()
采用如下命令启动
(venv) $ gunicorn -w 4 -b 0.0.0.1:9001 wsgi:app
这里gunicorn的命令对应参数含义如下:
- -w: 代表启动4个进程,可以通过ps -ef | grep 9001可以看到四个PID;
- -b: 打标绑定的IP和端口号,0.0.0.1表示不仅仅能在本台机器上访问,外网也可以访问,绑定的为9001端口
- wsgi:app, wsgi代表文件名,app为对应到该文件中创建的Flask对象
此外还有其他参数:- --log-level LEVEL:表示日志级别,测试可以用DEBUG
- --timeout: 超时时间,单位是秒
此时在浏览器里输入http://ip:9001/test&content=测试
页面上会显示“测试”,其中ip为启动该程序的机器IP。
可以多启动gunicorn节点,如(venv) $ gunicorn -w 4 -b 0.0.0.1:9002 wsgi:app
绑定了9002端口,相当于现在http://ip:9002/test&content=测试 也是可以访问的。
当测试正常时,执行
pip freeze > requirements.txt
将在虚拟环境中安装的包记录到requirements.txt里:
当该项目被迁移到其他机器时,直接运行
pip install -r requirements.txt #安装所需要的包
2.5 Nginx负载均衡
这里采用的单台机器 多个端口节点来实现负载均衡。
$ wget https://nginx.org/download/nginx-1.14.0.tar.gz ##下载nginx源码
$ tar -zxvf nginx-1.14.0.tar.gz ##解压
$ cd nginx-1.14.0
$ ./configure --prefix=../nginx ##安装到上层的nginx目录下
$ make ##编译
$ make install #安装
$ cd ../可以看到有nginx-1.14.0和nginx两个文件夹,nginx-1.14.0是源码文件夹,nginx是安装文件夹
进入到nginx/conf/nginx.conf修改配置文件:
# 转发的两个节点,这里是单台机器的两个端口
upstream mycluster {
server 127.0.0.1:9001 weight=1;
server 127.0.0.1:9002 weight=1;
}
server {
listen 9000; #暴露出去的端口号是9000
server_name 127.0.01; # 暴露出去的IP是本台机器IP
location / {
proxy_pass http://mucluster; # 这里是upstream的名称
root html;
index index.html index.html;
}
}
启动nginx
$ cd nginx ##进入nginx安装目录
$ ./sbin/nginx ##启动nginx
如果有修改配置文件,需要重新启动nginx
$ cd nginx ##进入nginx安装目录
$ ./sbin/nginx -t ##验证nginx配置文件是否正确,看到nginx.conf test is successful说明配置文件正确
$ ./sbin/nginx -s reload ##启动nginx
至此,部署完成,直接访问http://ip:9000/test?content=测试即可通过nginx转发请求。