深入浅出 tornado源码(1): 如何用python 搭建网络应用服务

本文我们用 Python 来实现一个client-Server的简单的程序,在开始写具体的程序之前,我们看一下网络中两个应用程序是如何通信的.

1. 网络应用程序是如何通信的

我们回顾一下经典的 TCP/IP 网络分层模型。从字面意思来看TCP/IP是TCP和IP协议的合称,但实际上TCP/IP协议是指因特网整个TCP/IP协议族。不同于ISO模型的七个分层,TCP/IP协议参考模型把所有的TCP/IP系列协议归类到四个抽象层中,每一抽象层建立在低一层提供的服务上,并且为高一层提供服务,如下图所示:

TCP/IP协议参考模型

下面分别介绍一下各个层的主要作用:
1)网络接口层:网络接口层与OSI参考模型中的物理层和数据链路层相对应。

2)网际互联层:网际互联层对应于OSI参考模型的网络层,主要解决主机到主机的通信问题。该层有四个主要协议:网际协议(IP)、地址解析协议(ARP)、互联网组管理协议(IGMP)和互联网控制报文协议(ICMP)。IP协议是网际互联层最重要的协议,它提供的是一个不可靠、无连接的数据报传递服务。

3)传输层:传输层对应于OSI参考模型的传输层,为应用层实体提供端到端的通信功能。该层定义了两个主要的协议:传输控制协议(TCP)和用户数据报协议(UDP)。TCP协议提供的是一种可靠的、面向连接的数据传输服务;而UDP协议供的是不可靠的、无连接的数据传输服务。

4)应用层:应用层对应于OSI参考模型的会话层、表示层和应用层,为用户提供所需要的各种服务,例如FTP、Telnet、DNS、SMTP等。

我们以应用层FTP服务为例,说明两台主机通过TCP/IP协议的通信过程。除物理层是实际传输数据的,其他对等层只是虚拟通信(所以画的是虚线),对等层一般需要遵照相同的协议。上层传输数据只与相邻上下层有关系。TCP及以下层是由操作系统内核实现,是处理通信细节,而应用层程序是通过socket编程实现的,处理的是应用程序细节。

FTP服务通信过程

2. socket在网络编程中的作用

通过前面的分析,我们知道应用层程序在进行网络通讯时,不需要关心传输层及以下层的实现细节,我们只需要通过抽象的 socket 接口进行功能编写通讯逻辑,如下图所示:

socket的作用

socket 描述IP地址和端口,是一个通信链的句柄,用来实现不同计算机间的通信。由于 socket起源于UNIX,在Unix一切皆文件哲学的思想下,socket是一种"打开—读/写—关闭"模式的实现,服务器和客户端各自维护一个"文件",在建立连接打开后,可以向自己文件写入内容供对方读取或者读取对方内容,通讯结束时关闭文件。需要说明的是,对于一个网络连接来说,套接字是平等的,并没有差别,不因为在服务器端或在客户端而产生不同级别。
那么应用程序如何使用 socket 进行通信的呢,如下图所示:

socket通信过程

所以对于一个服务器端应用程序,它首先创建一个 socket,绑定并监听某个端口,然后通过调用 accpet 接口等待来自客户端的连接。此时客户端程序通过创建的 socket,发起 connect 到该服务器的端口上请求,如果连接成功,双方则建立了一个可靠的通信通道。这时客户端和服务器端都可以通过 send 发送内容到对方,对方则通过调用 recv 接口接收这些数据。完成通信过程后,则只需要调用各自的 close 接口关闭该 socket,释放该端口资源。

3. 用Python实现简单的client和server网络程序

上一节对应用程序使用 socket 进行网络通讯的过程进行了说明,下面就开始正式用 Python 编写我们的客户端和服务器端程序(该代码来自《Python核心编程(第二版)》的第16章),它实现的功能是客户端发送字符串到服务器端后,会返回一个带时间戳的字符串给客户端。

服务器端 server.py

#coding:utf-8
import socket
from time import ctime

HOST = ''
PORT = 21567
BUFSIZE = 1024
ADDR = ('127.0.0.1', PORT)

# 服务器端创建 socket
serverSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
serverSock.bind(ADDR)
serverSock.listen(5)

while True:
    server2client_Sock, addr = serverSock.accept()

    while True:
        data = server2client_Sock.recv(BUFSIZE)

        # 如果数据接收完,则退出 recv, 进入到下一个连接
        if not data:
            break

        server2client_Sock.send('[%s] %s' % (ctime(), data))

    server2client_Sock.close()

serverSock.close()

客户端 client.py

#coding:utf-8
import socket
from time import ctime

HOST = ''
PORT = 21567
BUFSIZE = 1024
ADDR = (HOST, PORT)

# 客户端创建 socket
clientSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
clientSock.connect(ADDR)


while True:
    data = raw_input("> ")
    if not data:
        break

    clientSock.send(data)

    recData = clientSock.recv(BUFSIZE)
    if not recData:
        break

    print recData

clientSock.close()

对照上面 socket 通信过程的图,很容易看懂代码的意思,所以这里主要看一下server.py 中 while 循环部分的逻辑。执行 python server.py,进入到 第一个while 循环后,调用 accept 函数会使得服务器端进入阻塞等待模式,等待客户端的连接。这时如果客户端有连接到达时,该函数会返回,于是进入到第二个 while 循环内部,该循环主要用来处理这一次的连接,在该连接保持阶段客户端和服务器可以进行多次通讯。

那么连接什么时候结束呢?在本次示例中,当客户端发送的内容为空时,则服务器端会退出连接部分的 while 循环,关闭本次连接的 socket,于是退回到主循环进入等待下一个客户端的连接。至此,一个简单的client-server 模式的Python 程序即完成。

4. 问题分析

细心的读者可以发现,这样的 server.py 服务器一次只能处理一个客户端的连接,我们可以在打开 server.py 时,同时启动两个客户端进程,我们发现只有在第一个客户端结束后,才会开始处理第二个客户端的连接请求。像这样一次只能处理一个连接的服务器肯定是没有实际用途的,那如何能够做一次处理多个连接,最重要的是怎么让同时处理多个连接更高效,进而可以支撑起非常高的并发呢?下面一章我们将讨论解决这个问题的方法,以及tornado是如何做的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容