python高性能微服务框架japronto

最近由于业务,在看用 Python 写的一些微服务框架,查看资料偶然看到 Japronto 项目
这个项目的官方介绍是

Japronto (from Portuguese "já pronto" /ˈʒa pɾõtu/ meaning "already done") is a screaming-fast, scalable, asynchronous Python 3.5+ HTTP toolkit integrated with pipelining HTTP server based on uvloop and picohttpparser. It's targeted at speed enthusiasts, people who like plumbing and early adopters.

特点官方已经用粗体标明:极其快可拓展异步
并且看到了性能比较图:

性能对比图(出自https://github.com/squeaky-pl/japronto)

感到十分震惊,因此查看了一下这个框架,并且进行了一下实际测量。

本次实验采用的是MacBook Pro Early 2015款
CPU:2.7GHz Intel Core i5
内存: 8G 1867 Mhz DDR3

Japronto 的安装非常简单,因此在此没必要赘述,我们可以按照官方用的测试样例进行简单编写探讨:

from japronto import Application


def hello(request):
    return request.Response(text='Hello world!')


app = Application()
app.router.add_route('/', hello)
app.run(debug=True)

这是一个最基本的样例
压测选用的是 wrk 软件( 项目地址是 https://github.com/wg/wrk),这是一个压测软件,可以在一个多核cpu机器中生成非常高的负载,并且采用多线程设计。
我们首先使用10 线程,10000 连接来测试 20 s

wrk -t10 -d20s -c10000 http://127.0.0.1:8080

使用 Japronto 得到的结果如下:

Running 20s test @ http://127.0.0.1:8080
  10 threads and 10000 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency     8.79ms    5.68ms 130.32ms   90.38%
    Req/Sec     2.77k     2.43k   11.67k    75.04%
  551833 requests in 20.09s, 48.42MB read
  Socket errors: connect 9757, read 78, write 0, timeout 0
Requests/sec:  27468.38
Transfer/sec:      2.41MB

可以看到,有近 27.4k/srequest, 性能可以说非常高。相比之下,golang 所做的服务器的效率我们也可以进行一下测试:
Golang 服务器测试结果

Running 20s test @ http://127.0.0.1:6888/
  10 threads and 10000 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency   364.90ms  209.53ms   1.10s    62.27%
    Req/Sec     1.59k     1.20k    9.61k    88.92%
  313932 requests in 20.52s, 123.95MB read
  Socket errors: connect 0, read 0, write 0, timeout 33
Requests/sec:  15299.29
Transfer/sec:      6.04MB

Requests/sec15.3k/s, 效率明显低于 Japronto , 同时我们又对 Tornado 性能进行了比较,由于测试框架已经写了部分逻辑,因此比较时均选用计算 Fibonacci 数列第1项进行比较
使用 Japronto 计算 Fibonacci 数列得到的结果如下:

  10 threads and 10000 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency     9.83ms    2.70ms  33.98ms   75.53%
    Req/Sec     2.48k     2.61k   10.32k    80.24%
  494265 requests in 20.09s, 37.71MB read
  Socket errors: connect 9757, read 64, write 0, timeout 0
Requests/sec:  24596.95
Transfer/sec:      1.88MB

使用 Tornado 计算 Fibonacci 数列得到的结果如下:

  10 threads and 10000 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency     1.21s   550.13ms   2.00s    60.52%
    Req/Sec   234.02    283.96     3.28k    88.09%
  21391 requests in 20.07s, 2.73MB read
  Socket errors: connect 0, read 0, write 0, timeout 18967
Requests/sec:   1065.88
Transfer/sec:    139.48KB

显然 Tornado 的处理能力比较捉鸡,并且基本都 timeout 了,因此为了提高性能,用 golang 作反向代理,进行任务分发,在同意主机启动多个进程来实验是凑可以提高 Tornado 性能,实验的结果如下所示:

多进程Tornado处理能力

即使进行了多进程任务分发,性能仍然比较一般,响应速度比较慢。
因此可以认为,虽然 Japronto 的性能没有官方描述得如此美好,但仍然是一个非常高效的框架。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容