URL访问网站的网络传输全过程

打开浏览器,在地址栏输入URL,回车,出现网站内容。这是我们几乎每天都在做的事,那这个过程中到底是什么原理呢?HTTP、TCP、DNS、IP这些耳熟能详的名词都在什么时候起着什么作用呢?在这里整体梳理一遍。

整个过程基本分做下面几个部分:

  • 1、域名解析成IP地址;
  • 2、与目的主机进行TCP连接(三次握手);
  • 3、发送与收取数据;
  • 4、与目的主机断开TCP连接(四次挥手);

下面分别进行详细说明。

域名解析成IP地址

首先说什么是域名解析?

我们在浏览器地址栏中输入的都是类似“www.baidu.com”、“www.qq.com”等等容易记忆的英文域名,但这些字母你直接交给整个网络线路去寻找目的主机找得到吗?找不到,因为每个主机在网络中的位置都是以IP标识的,IP才是主机在网络中的位置,域名只是为了方便用户记忆而已,这就要求浏览器能够识别域名并且将其转化为对应的IP地址。

所以浏览器会有一个DNS缓存,其中记录了一些域名与IP的对应关系,供浏览器快速查找需要的IP。但是这个DNS缓存不可能存下所有的域名-IP地址,何况IP地址有时候还会变化,因此当在DNS缓存中没有找到的时候,就要先向DNS服务器请求域名解析,我们常听到的DNS服务器很大的作用就是进行域名解析。

值得一提的是,DNS域名解析时用的是UDP协议。

整个域名解析的过程如下:

  • 1、浏览器向本机DNS模块发出DNS请求,DNS模块生成相关的DNS报文;
  • 2、DNS模块将生成的DNS报文传递给传输层的UDP协议单元;
  • 3、UDP协议单元将该数据封装成UDP数据报,传递给网络层的IP协议单元;
  • 4、IP协议单元将该数据封装成IP数据包,其目的IP地址为DNS服务器的IP地址;
  • 5、封装好的IP数据包将传递给数据链路层的协议单元进行发送;
  • 6、发送时在ARP缓存中查询相关数据,如果没有,就发送ARP广播(包含待查询的IP地址,收到广播的主机检查自己的IP,符合条件的主机将含有自己MAC地址的ARP包发送给ARP广播的主机)请求,等待ARP回应;
  • 7、得到ARP回应后,将IP地址与路由的下一跳MAC地址对应的信息写入ARP缓存表;
  • 8、写入缓存后,以路由下一跳的地址填充目的MAC地址,以数据帧形式转发;
  • 9、转发可能进行多次;
  • 10、DNS请求到达DNS服务器的数据链路层协议单元;
  • 11、DNS服务器的数据链路层协议单元解析数据帧,将内部的IP数据包传递给网络层IP协议单元;
  • 12、DNS服务器的IP协议单元解析IP数据包,将内部的UDP数据报传递给传输层UDP协议单元;
  • 13、DNS服务器的UDP协议单元解析收到的UDP数据报,将内部的DNS报文传递给DNS服务单元;
  • 14、DNS服务单元将域名解析成对应IP地址,产生DNS回应报文;
  • 15、DNS回应报文->UDP->IP->MAC->我的主机;
  • 16、我的主机收到数据帧,将数据帧->IP->UDP->浏览器;
  • 17、将域名解析结果以域名和IP地址对应的形式写入DNS缓存表。

其中提到了一个ARP的概念,类似于DNS将域名翻译成IP,ARP则是将IP翻译成MAC地址,我们知道了IP后,需要通过主机的MAC地址来更具体的找到主机。同样的也有一个ARP缓存,其中存储了一些IP与MAC地址的对应关系,如果缓存中找不到,就会进行广播来查找MAC地址,收到广播的主机会检查自己的IP是否是待查找的IP,是的话就返回自己的MAC地址。

如果做开发,往往还会接触到端口这个概念,那端口是什么呢?这里是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等,都有一些固定的端口号,被占用后就不能被别的服务拿来传输数据了。

与目的主机进行TCP连接(三次握手)

得到域名对应的IP地址后,也就表示可以将数据送达目的主机了,这时候才开始我们常说的三次握手建立连接。

HTTP的请求时使用TCP进行传输的,可以保证可靠传输,并且有序,而TCP是有连接的传输,也就是在传输数据之前,会建立我的主机与目的主机之间的连接,然后才能传输数据,传输完成后,还有断开连接。这也就是TCP的三次握手和四次挥手,大致过程如下图所示:

image.png

具体的三次握手建立连接的过程如下表述,其中数据包的传输过程类似上文请求DNS服务器时的过程,就简单的表示一下:

  • 1、向目的主机发送TCP连接请求报文;
  • 2、该TCP报文中SYN标志位设为1,表示连接请求;
  • 3、该TCP报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
  • 4、目的主机收到数据帧,通过IP->TCP,TCP协议单元回应请求应答报文;
  • 5、该报文中SYN和ACK标志设为1,表示连接请求应答;
  • 6、该TCP报文通过IP(DNS)->MAC(ARP)->网关->我的主机;
  • 7、我的主机收到数据帧,通过IP->TCP,TCP协议单元回应请求确认报文;
  • 8、该TCP报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
  • 9、目的主机收到数据帧,通过IP->TCP,连接建立完成。

三次握手的过程就是一去一回一去,互相确认一下,就建立连接啦。这个过程中任何一个报文出错或者超时,都要进行重传。

发送与收取数据

如上所说,只有建立连接后才能开始传输数据,数据其实有多种传输方式,比如分段啊分组啊分时啊等等。而一个数据包的传输过程如下所示,以HTTP的GET方法请求为例:

  • 1、浏览器向域名发出GET方法报文;
  • 2、该GET方法报文通过TCP->IP(DNS)->MAC(ARP)->网关->目的主机;
  • 3、目的主机收到数据帧,通过IP->TCP->HTTP,HTTP协议单元会回应HTTP协议格式封装好的HTML形式数据;
  • 4、该HTML数据通过TCP->IP(DNS)->MAC(ARP)->网关->我的主机;
  • 5、我的主机收到数据帧,通过IP->TCP->HTTP->浏览器,浏览器以网页形式显示HTML内容。

其他的HTTP方法在传输数据时方法都类似,只是所携带的内容不同。

与目的主机断开TCP连接(四次挥手)

数据传输完成后需要断开连接,与建立时不同,断开连接需要多一次,有四次挥手,至于为什么,看完过程我们再讲。

这里再把图拿过来帮助理解:

image.png

过程如下:

  • 1、浏览器向目的主机发出TCP连接结束请求报文,此时进入FIN WAIT状态;
  • 2、该报文FIN标志位设为1,表示结束请求;
  • 3、TCP结束请求报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
  • 4、目的主机收到数据帧,通过IP->TCP,TCP协议单元回应结束应答报文;
  • 5、当前只是进行回应,因为目的主机可能还有数据要传,并不急着断开连接;
  • 6、该报文中ACK标志位设为1,表示收到结束请求;
  • 7、目的数据发送完所有数据后,向我的主机发出TCP连接结束请求报文;
  • 8、该报文FIN标志位设为1,表示结束请求;
  • 9、TCP结束请求报文通过IP(DNS)->MAC(ARP)->网关->我的主机;
  • 10、我的主机收到数据帧,通过IP->TCP,TCP协议单元回应结束应答报文,此时进入TIME WAIT状态,因为不相信网络是可靠的,如果目的主机没收到还可以重发;
  • 11、该报文中的FIN标志位均设为1,表示结束应答;
  • 12、该TCP回应报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
  • 13、目的主机关闭连接;
  • 14、TIME WAIT等待结束后,没有收到回复,说明目的正常关闭了,我的主机也关闭连接。

这里的过程是以我的主机主动发起结束请求开始的,实际上也可以由目的主机主动发起,那么过程就会跟上面相反,但细节差不多。

FIN_WAIT状态是主动发起请求时等待确认信息,而TIME_WAIT状态是收到结束请求后发送确认信息后等待看是否需要重发。

现在来说说为什么断开连接时需要四次挥手呢?因为建立连接时目的主机可以直接发送SYN(同步)+ACK(应答)报文。而当断开时,目的主机收到FIN后可能还有数据要发,并不一定直接断开,所以先发送一次应答,告知我的主机收到了请求,等确认所有数据都发完了,再发送FIN,同时等待我的主机应答,这里的FIN和ACK就不能一起发送,所以需要四次。

以上就是URL访问网站时的网络传输全过程,归纳起来就是:

首先要通过域名找到IP,如果缓存里没有就要请求DNS服务器;得到IP后开始于目的主机进行三次握手来建立TCP连接;连接建立后进行HTTP访问,传输并获取网页内容;传输完后与目的主机四次挥手来断开TCP连接。


查看作者首页

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容

  • 个人认为,Goodboy1881先生的TCP /IP 协议详解学习博客系列博客是一部非常精彩的学习笔记,这虽然只是...
    贰零壹柒_fc10阅读 5,051评论 0 8
  • 1. 基础知识 1.1 3种常见的计算机体系结构划分 OSI分层(7层):物理层、数据链路层、网络层、传输层、会话...
    Mr希灵阅读 19,847评论 6 120
  • 1.这篇文章不是本人原创的,只是个人为了对这部分知识做一个整理和系统的输出而编辑成的,在此郑重地向本文所引用文章的...
    SOMCENT阅读 13,037评论 6 174
  • 在华中科技大学校园网下,在IE输入www.taobao.com之后的过程详解 1.本地过程 若DNS缓存中没有相关...
    DecadeHeart阅读 6,193评论 0 4
  • 1. OSI,TCP/IP,五层协议的体系结构,以及各层协议 OSI分层 (7层):物理层、数据链路层、...
    iCaptain阅读 2,459评论 0 4