Gevent

距离1.0第一个alpha版发布已有两年多时间。根据官方网站的信息,1.0版引入了:

新的核心。事件循环使用libev代替了libevent,原因可以参考这里。而且事件循环现在是可插拔的了。

新的DNS解析器。有两个解析器:默认的基于线程池的,适用于Windows和Mac;另一个基于c-ares库的,适用于Linux。socket模块中还增加了gethostbyname_ex等多个函数。

新的API。包括gevent.wait()和gevent.iwait()、子进程支持、UDP服务器以及尚处试验阶段的线程池等。

完整的更新可以参考变更日志

现在gevent已经不是一人项目了,1.0版的贡献者达到26人,值得注意的是,其中有阿里的陈小玉

gevent是基于协程的高性能Python网络库,相比Twisted、Stackless等,gevent使用libev事件循环,因此速度很快、性能很好,使用greenlet提供高层的同步API,因此非常轻量。

它由俄罗斯出生的程序员Denis Bilenko开 发,Bilenko目前住在荷兰阿姆斯特丹,是Surfly公司的创始人。他曾经是另一个Python网络库Eventlet的开发者之一,2009年因 为Eventlet无法满足项目需要,他决定另外开发一个更轻量的库,这就是gevent。某种意义上,gevent是从Eventlet项目派生出来 的。[1]

近来,gevent的发展势头不错,在GitHub上的关注度已经超过Eventlet,有青出于蓝而胜于蓝的意思。(当然Eventlet还剩一个优势,OpenStack的网络通信是基于它的。)距离挑战Twisted,可能还有一段距离。不过高性能总是利器,ZeroMQ和Nginx的先例在那里。

有名的案例里,Omegle因为性能问题从Twisted迁移到了gevent,MeeboSpotify的情况类似,Twilio是两者并用。

相关技术资料

官方网站

StackOverflow,其中关于Twisted和gevent等Python网络库的选型讨论可以参考这里这里

Bilenko在2013 EuroPython会议上的演讲稿

Mixpanel使用gevent的经验总结(2011年),中文翻译

CSDN网友Ewing333翻译的gevent文档(2012年5月)

OSChina的gevent页面

话说pycon没有白去阿,了解了很多以前不知道的东西,比如说协程,gevent,greenlet,eventlet。说说协程,进程和线程大家平时 了解的都比较多,而协程算是一种轻量级进程,但又不能叫进程,因为操作系统并不知道它的存在。什么意思呢,就是说,协程像是一种在程序级别来模拟系统级别 的进程,由于是单进程,并且少了上下文切换,于是相对来说系统消耗很少,而且网上的各种测试也表明,协程确实拥有惊人的速度。并且在实现过程中,协程可以 用以前同步思路的写法,而运行起来确是异步的,也确实很有意思。话说有一种说法就是说进化历程是多进程->多线程->异步->协程,暂 且不论说的对不对,单从诸多赞誉来看,协程还是有必要理解一下的。

比较惭愧,greenlet没怎么看就直接看gevent,官方文档还是可以看看的,尤其是源码里的examples都相当不错,有助于理解gevent的使用。

gevent封装了很多很方便的接口,其中一个就是monkey

from gevent import monkey

monkey.patch_all()

这样两行,就可以使用python以前的socket之类的,因为gevent已经给你自动转化了,真是超级方便阿。

而且安装gevent也是很方便,首先安装依赖libevent和greenlet,再利用pypi安装即可

sudo apt-get install libevent-dev

sudo apt-get install python-dev

sudo easy-install gevent

然后,gevent中的event,有wait,set等api,方便你可以让某些协程在某些地方等待条件,然后用另一个去唤醒他们。

再就是gevent实现了wsgi可以很方便的当作python的web server服务器使。

Links:

https://ivan-site.com/2012/10/gevent-gunicorn-vs-uwsgi/

http://www.gevent.org/

http://www.it165.net/admin/html/201308/1682.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容

  • 前述 进程 线程 协程 异步 并发编程(不是并行)目前有四种方式:多进程、多线程、协程和异步。 多进程编程在pyt...
    softlns阅读 6,327评论 2 24
  • 背景 最近接触到用 Twisted 来写个 RPC 服务器,对高并发、性能和大量长连接时的稳定性方面有要求,所以应...
    小虚大魔王阅读 6,228评论 5 21
  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,441评论 6 428
  • 一个实时爬取的接口,也是针对这个一直在被我博客的网站,跟他家的抗争让我收益良多 先讲一讲这一次的问题所在,因为时时...
    Utopi_a阅读 4,242评论 2 10
  • gevent基于协程的网络库,基于libev的快速的事件循环,基于greenlet的轻量级执行单元,重用了Pyth...
    xncode阅读 1,449评论 0 1