爬虫概述
——编辑:大牧莫邪
1. 目录清单
- 爬虫简介
- 通用爬虫和聚焦爬虫
- 网络请求那些事儿
- 网络数据抓包分析
2. 章节内容
2.1.爬虫简介
在各行各业如火如荼快速发展的今天，市场是决定一家公司是否可持续发展最重要的一个衡量指标，市场的定位和发展核心是对行业数据的分析，对于数据的分析必须进行大量数据的统计分析才能得到一个比较中肯的处理建议，那么问题就来了~分析市场的行业数据，从哪里才能得到呢？
当数据开始变得敏感开始变得值钱起来(一直都很值钱)之后，很多官方或者民间的机构，开始就数据市场展开了新一轮的竞争，如官方会提供各种数据的统计信息方便大家了解目前的民生情况，百度提供了搜索引擎数据方便上网的时候进行的快速检索，腾讯指数提供了对于时下流行关键词的指数分析方便对于某些数据的统计信息的提取等等，总的来说~数据提供者一般都提供两种数据，一种可以共享的免费数据，一种比较有针对性的私密数据；免费数据可以供所有人查看，但是私密数据在一定程度上可以选择收费查阅或者直接禁止查阅，目前对于数据的来源一把都有如下方式：
- 企业分析数据，如百度指数、腾讯指数、阿里指数等等
- 数据平台数据，如数据堂，国云数据市场等等
- 政府机构数据，如纳斯达克指数、国家统计局数据等等
- 数据咨询公司，如艾瑞咨询等等
- 网络爬虫采集
问题1：并不是所有的公司都可以付费购买数据
问题2：并不是所有的公司都满足于免费的数据？！
问题3：那么数据从哪里来？
网络爬虫 ，主要是针对网络上的数据通过编程的方式使用程序自动采集的一种手段，公司除了从第三方平台直接使用免费数据或者购买数据之外，更多的是通过网络爬虫的方式让爬虫工程师负责采集公司所需要的数据！这也是为什么爬虫工程师非常吃香的原因！
2.2. 通用爬虫和聚焦爬虫
一般情况下，根据爬虫程序的应用场景的不同，可以将爬虫程序大致分为两种类型：通用爬虫和聚焦爬虫
通用爬虫：通用爬虫是网络搜索引擎的一部分，遵循爬虫的robot协议，负责采集网络中的网页信息内容并建立索引，在自己的搜索引擎服务器上建议网络信息的索引镜像备份文件，达到对网络上的信息内容可以快速检索的目的
robot协议：是关于网络爬虫的一种约定的协议，robot协议明确告诉了通用网络爬虫，哪些数据内容是可以爬取的，哪些数据内容是不允许爬虫采集的，如果是合法合规的爬虫程序，必须遵循robot协议约定的采集内容区域，否则可能涉及到维权行为！
通用爬虫在一定程度上满足了大量网民的需求，可以通过搜索引擎快速检索需要的网页
但是公司针对性的获取数据的场景，通用爬虫就存在了很大的限制，如通用爬虫获取的网页数据对于公司的需求来说很大一部分是无效的，因为对于分析数据来说网页中的广告信息、轮播图片信息、导航信息等等都是无效数据；公司不同的需求需要采集的数据形式也是多样的，通用搜索引擎的常规操作方式并不能完全满足这样的操作现状的；尤其是针对有特定语义化搜索的数据来说，通用搜索引擎更是无能为力的的！
聚焦爬虫： 聚焦爬虫是通过编程的方式针对特定的需要进行数据定向采集的一种手段，能更好的更加准确的采集用户需要的数据，在一定程序上能很好的满足业务数据需要。缺点在于聚焦爬虫的编码工作比较繁琐，针对不同类型的数据采集工作，需要定制化的开发不同的程序代码。然而~瑕不掩瑜的是，定向爬虫由于其特定收的采集手段，尤其是程序开发人员对于问题处理的操作方式愈发先进和自动化，聚焦爬虫更加受到公司的欢迎！
2.3. 网络请求那些事儿
网络中的数据，更多的操作是对于目标服务器上的网页数据的方式，网页数据的访问一般使用的都是HTTP和HTTPS协议；通过浏览器进行网页访问的过程中，在请求的请求头信息中包含了客户端浏览器的身份信息；在响应数据中包含了对于响应内容的描述信息等
2.3.1.HTTP和HTTPS协议
HTTP协议是超文本传输协议，是网页访问过程中最常用的一种协议，用于传输超文本标签描述的数据内容。默认访问端口：80
HTTPS协议是提供了安全通道的HTTP协议，在网页数据访问过程中，对于访问的数据进行了数字签名实现了非对称的数据加密方式以保障数据的安全性。默认访问端口：443
在指定的访问协议写，进行数据资源的访问，通过网络统一资源定位符URL进行访问，一般情况下，一个完整的请求URL主要包含如下几个部分：
[访问协议]://[主机域名][:端口号]/[资源路径][?查询字符串]
2.3.2.请求方式
HTTP1.1协议标准规定了8中常规请求方式，分别如下：
- GET：定义用于从服务器获取数据
- POST：定义用于向服务器更新数据
- PUT：定义用于向服务器提交数据
- DELETE：定义用于在服务器中删除指定数据
- OPTIONS：定义客户端可以通过请求查询服务器处理信息
- HEAD：定义用于获取请求内容的报文头信息
- CONNECT：定义可以通过管道的方式连接
- TRACE：定义心跳消息诊断的实现
常规的web项目中，在实际使用操作时我们一般使用get/post两种请求操作方式，通过get/post两种请求方式完成和服务器之间的常规数据交互已经可以满足我们项目的大部分情况
- GET请求：访问的url地址中可以包含传递给服务器的参数，参数必须是字符串，url地址的长度浏览器本身没有限制，但是受到服务器最大接收数据长度的限制，所以get请求一般用于传输不需要保密的长度收到限制的字符串数据。处理效率较高
- POST请求：访问的url地址中不会出现传递给服务器的参数，参数会包含在请求体中进行处理，主要传递字符串数据，可以传递二进制数据，传递数据的大小浏览器同样没有做什么限制，但是服务器端会根据实际需要进行数据量的限制，避免传递过大的数据到底服务器资源不够使用！所以post请求一般用于传递较为敏感的不能暴露给别人看到的并且数据较大的数据。
随着web软件的发展，除了常规的请求操作方式之外，新的请求处理方式RESTful风格也逐步的在很多软件中开始应用，在RESTful处理风格中，经常使用如下四种请求方式：
- GET: 用于从服务器中获取数据
- POST：用于在服务器中更新数据
- DELETE：用于在服务器中删除指定数据
- PUT: 用于向服务器提交新的数据
并且在处理过程中，和服务器交互的参数有可能会包含在Url地址中，这样更加提高了参数的安全性。
2.3.2.请求头request header
请求头信息是请求数据的重要组成部分之一，包含了客户端请求的身份标识等重要信息，就请求头简单了解如下内容：
- Host：访问web资源的网络域名和端口号
- Connection: 连接类型，一般当下浏览器都会发送一个这样数据：Connection:keep-alive给对应的服务器，keep-alive是保持连接的意思，也就是长连接的意思，如果服务器支持客户端keep-alive长连接，会返回包含keep-alive的响应数据表示建立长连接，可以继续进行操作；如果服务器不支持就直接返回close关闭连接操作
- Upgrade-insecure-requests：请求升级，就是当用户在通过http协议访问当前资源数据时，自动替换为https安全访问协议并且不提示警告信息
- User-agent：用户代理，用于代理客户发起请求的工具，一般表示浏览器，描述访问网页的浏览器的信息
- Accept：接受数据类型描述；如Accept:text/html;表示客户端可以接收的数据是html网页文档数据；Accept:/;表示客户端可以接收任何数据
- Accept-encoding：接受文件的解码格式，一般传输的内容如：Accept-encoding:gzip;q=1.0;identify;q=0.5;*;q=0,表示如果有返回多种数据内容，首先匹配gzip压缩的文档内容，如果不是通过gzip压缩的格式，就匹配identify压缩编码格式；否则就接受任意编码格式的数据
- Accept-language：客户端的语言类型，当服务器支持指定的语言类型时，返回给客户端指定的国际化语言内容；
- Referer：请求来源，也就是当前网页是从哪个网页发起的请求，一般用于反盗链操作
- Cookie：发送给服务器的cookie数据，通过请求头中的cookie属性将客户端的cookie数据传递给服务器进行处理
- Content-type：内容类型，一般在POST请求中有效，表示指定post请求传递的数据的类型
2.3.3. 响应头response header
当服务器正常处理了需要操作的业务之后，就会以响应的方式返回给客户端浏览器对应的数据，响应对象本身就会包含对于响应的数据内容的描述信息
- Cache-control：must-revalidate|no-cache|private
该响应头信息非常重要，如果响应头明确Cache-control:max-age=0或者no-cache表示不缓存任何数据，任何时间再次发起请求都从服务器获取新的数据；同样如果指定了Cache-control:max-age=10*24*60*60则表示在指定的时间段获取新的数据直接从缓存中提取，不需要从服务器获取；如果响应头中不包含Cache-control信息，则所有数据全部采用默认缓存方式
- Connection:keep-alive|close
用于高速客户端的请求方式是否保持连接，某些情况下保持连接是必要的，可以在多次发起连接时重复使用打开的连接方式，有助于提高处理效率
- Content-encoding：gzip
响应内容编码方式，一般默认gzip，就是告诉客户端服务器响应的数据内容是经过gzip压缩处理的，需要客户端解压缩解码操作
- Content-type：text/html;charset=UTF-8
响应数据内容类型，一般直接描述内容的文件属性和编码方式，方便客户端浏览器可以针对文件属性使用指定方式进行加载，通过指定的编码方式进行解码操作正常显示加载的数据内容
- Date：Sat, 06 Jan 2018 02:48:36 GMT
响应数据传输时间，HTTP协议标准指定使用GMT格林尼治时间
- Expires:Sat, 13 Jan 2018 01:00:07 GMT
过期时间，指定某个资源的过期时间，过期之前通过缓存直接提取数据而不是从服务器获取数据
- Server：BWS/1.1
服务器信息描述
- Transfer-encoding：chunked
响应数据内容分块
2.3.4.HTTP状态码
| 编码 | 描述 |
|---|---|
| 100 | 客户端应当继续发送请求。这个临时响应是用来通知客户端它的部分请求已经被服务器接收，且仍未被拒绝。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。服务器必须在请求完成后向客户端发送一个最终响应。 |
| 101 | 服务器已经理解了客户端的请求，并将通过Upgrade 消息头通知客户端采用不同的协议来完成这个请求。在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。 只有在切换新的协议更有好处的时候才应该采取类似措施。例如，切换到新的HTTP 版本比旧版本更有优势，或者切换到一个实时且同步的协议以传送利用此类特性的资源。 |
| 102 | 由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。 |
| 200 | 请求已成功，请求所希望的响应头或数据体将随此响应返回。 |
| 201 | 请求已经被实现，而且有一个新的资源已经依据请求的需要而建立，且其 URI 已经随Location 头信息返回。假如需要的资源无法及时建立的话，应当返回 '202 Accepted'。 |
| 202 | 服务器已接受请求，但尚未处理。正如它可能被拒绝一样，最终该请求可能会也可能不会被执行。在异步操作的场合下，没有比发送这个状态码更方便的做法了。 返回202状态码的响应的目的是允许服务器接受其他过程的请求（例如某个每天只执行一次的基于批处理的操作），而不必让客户端一直保持与服务器的连接直到批处理操作全部完成。在接受请求处理并返回202状态码的响应应当在返回的实体中包含一些指示处理当前状态的信息，以及指向处理状态监视器或状态预测的指针，以便用户能够估计操作是否已经完成。 |
| 203 | 服务器已成功处理了请求，但返回的实体头部元信息不是在原始服务器上有效的确定集合，而是来自本地或者第三方的拷贝。当前的信息可能是原始版本的子集或者超集。例如，包含资源的元数据可能导致原始服务器知道元信息的超级。使用此状态码不是必须的，而且只有在响应不使用此状态码便会返回200 OK的情况下才是合适的。 |
| 204 | 服务器成功处理了请求，但不需要返回任何实体内容，并且希望返回更新了的元信息。响应可能通过实体头部的形式，返回新的或更新后的元信息。如果存在这些头部信息，则应当与所请求的变量相呼应。 如果客户端是浏览器的话，那么用户浏览器应保留发送了该请求的页面，而不产生任何文档视图上的变化，即使按照规范新的或更新后的元信息应当被应用到用户浏览器活动视图中的文档。 由于204响应被禁止包含任何消息体，因此它始终以消息头后的第一个空行结尾。 |
| 205 | 服务器成功处理了请求，且没有返回任何内容。但是与204响应不同，返回此状态码的响应要求请求者重置文档视图。该响应主要是被用于接受用户输入后，立即重置表单，以便用户能够轻松地开始另一次输入。 与204响应一样，该响应也被禁止包含任何消息体，且以消息头后的第一个空行结束。 |
| 206 | 服务器已经成功处理了部分 GET 请求。类似于 FlashGet 或者迅雷这类的 HTTP 下载工具都是使用此类响应实现断点续传或者将一个大文档分解为多个下载段同时下载。 该请求必须包含 Range 头信息来指示客户端希望得到的内容范围，并且可能包含 If-Range 来作为请求条件。 响应必须包含如下的头部域： Content-Range 用以指示本次响应中返回的内容的范围；如果是 Content-Type 为 multipart/byteranges 的多段下载，则每一 multipart 段中都应包含 Content-Range 域用以指示本段的内容范围。假如响应中包含 Content-Length，那么它的数值必须匹配它返回的内容范围的真实字节数。 Date ETag 和/或 Content-Location，假如同样的请求本应该返回200响应。 Expires, Cache-Control，和/或 Vary，假如其值可能与之前相同变量的其他响应对应的值不同的话。 假如本响应请求使用了 If-Range 强缓存验证，那么本次响应不应该包含其他实体头；假如本响应的请求使用了 If-Range 弱缓存验证，那么本次响应禁止包含其他实体头；这避免了缓存的实体内容和更新了的实体头信息之间的不一致。否则，本响应就应当包含所有本应该返回200响应中应当返回的所有实体头部域。 假如 ETag 或 Last-Modified 头部不能精确匹配的话，则客户端缓存应禁止将206响应返回的内容与之前任何缓存过的内容组合在一起。 任何不支持 Range 以及 Content-Range 头的缓存都禁止缓存206响应返回的内容。 |
| 207 | 由WebDAV(RFC 2518)扩展的状态码，代表之后的消息体将是一个XML消息，并且可能依照之前子请求数量的不同，包含一系列独立的响应代码。 |
| 300 | 被请求的资源有一系列可供选择的回馈信息，每个都有自己特定的地址和浏览器驱动的商议信息。用户或浏览器能够自行选择一个首选的地址进行重定向。 除非这是一个 HEAD 请求，否则该响应应当包括一个资源特性及地址的列表的实体，以便用户或浏览器从中选择最合适的重定向地址。这个实体的格式由 Content-Type 定义的格式所决定。浏览器可能根据响应的格式以及浏览器自身能力，自动作出最合适的选择。当然，RFC 2616规范并没有规定这样的自动选择该如何进行。 如果服务器本身已经有了首选的回馈选择，那么在 Location 中应当指明这个回馈的 URI；浏览器可能会将这个 Location 值作为自动重定向的地址。此外，除非额外指定，否则这个响应也是可缓存的。 |
| 301 | 被请求的资源已永久移动到新位置，并且将来任何对此资源的引用都应该使用本响应返回的若干个 URI 之一。如果可能，拥有链接编辑功能的客户端应当自动把请求的地址修改为从服务器反馈回来的地址。除非额外指定，否则这个响应也是可缓存的。 新的永久性的 URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求，否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。 如果这不是一个 GET 或者 HEAD 请求，因此浏览器禁止自动进行重定向，除非得到用户的确认，因为请求的条件可能因此发生变化。 注意：对于某些使用 HTTP/1.0 协议的浏览器，当它们发送的 POST 请求得到了一个301响应的话，接下来的重定向请求将会变成 GET 方式。 |
| 302 | 请求的资源现在临时从不同的 URI 响应请求。由于这样的重定向是临时的，客户端应当继续向原有地址发送以后的请求。只有在Cache-Control或Expires中进行了指定的情况下，这个响应才是可缓存的。 新的临时性的 URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求，否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。 如果这不是一个 GET 或者 HEAD 请求，那么浏览器禁止自动进行重定向，除非得到用户的确认，因为请求的条件可能因此发生变化。 注意：虽然RFC 1945和RFC 2068规范不允许客户端在重定向时改变请求的方法，但是很多现存的浏览器将302响应视作为303响应，并且使用 GET 方式访问在 Location 中规定的 URI，而无视原先请求的方法。状态码303和307被添加了进来，用以明确服务器期待客户端进行何种反应。 |
| 303 | 对应当前请求的响应可以在另一个 URI 上被找到，而且客户端应当采用 GET 的方式访问那个资源。这个方法的存在主要是为了允许由脚本激活的POST请求输出重定向到一个新的资源。这个新的 URI 不是原始资源的替代引用。同时，303响应禁止被缓存。当然，第二个请求（重定向）可能被缓存。 新的 URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求，否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。 注意：许多 HTTP/1.1 版以前的 浏览器不能正确理解303状态。如果需要考虑与这些浏览器之间的互动，302状态码应该可以胜任，因为大多数的浏览器处理302响应时的方式恰恰就是上述规范要求客户端处理303响应时应当做的。 |
| 304 | 如果客户端发送了一个带条件的 GET 请求且该请求已被允许，而文档的内容（自上次访问以来或者根据请求的条件）并没有改变，则服务器应当返回这个状态码。304响应禁止包含消息体，因此始终以消息头后的第一个空行结尾。 该响应必须包含以下的头信息： Date，除非这个服务器没有时钟。假如没有时钟的服务器也遵守这些规则，那么代理服务器以及客户端可以自行将 Date 字段添加到接收到的响应头中去（正如RFC 2068中规定的一样），缓存机制将会正常工作。 ETag 和/或 Content-Location，假如同样的请求本应返回200响应。 Expires, Cache-Control，和/或Vary，假如其值可能与之前相同变量的其他响应对应的值不同的话。 假如本响应请求使用了强缓存验证，那么本次响应不应该包含其他实体头；否则（例如，某个带条件的 GET 请求使用了弱缓存验证），本次响应禁止包含其他实体头；这避免了缓存了的实体内容和更新了的实体头信息之间的不一致。 假如某个304响应指明了当前某个实体没有缓存，那么缓存系统必须忽视这个响应，并且重复发送不包含限制条件的请求。 假如接收到一个要求更新某个缓存条目的304响应，那么缓存系统必须更新整个条目以反映所有在响应中被更新的字段的值。 |
| 305 | 被请求的资源必须通过指定的代理才能被访问。Location 域中将给出指定的代理所在的 URI 信息，接收者需要重复发送一个单独的请求，通过这个代理才能访问相应资源。只有原始服务器才能建立305响应。 注意：RFC 2068中没有明确305响应是为了重定向一个单独的请求，而且只能被原始服务器建立。忽视这些限制可能导致严重的安全后果。 |
| 306 | 在最新版的规范中，306状态码已经不再被使用。 |
| 307 | 请求的资源现在临时从不同的URI 响应请求。由于这样的重定向是临时的，客户端应当继续向原有地址发送以后的请求。只有在Cache-Control或Expires中进行了指定的情况下，这个响应才是可缓存的。 新的临时性的URI 应当在响应的 Location 域中返回。除非这是一个HEAD 请求，否则响应的实体中应当包含指向新的URI 的超链接及简短说明。因为部分浏览器不能识别307响应，因此需要添加上述必要信息以便用户能够理解并向新的 URI 发出访问请求。 如果这不是一个GET 或者 HEAD 请求，那么浏览器禁止自动进行重定向，除非得到用户的确认，因为请求的条件可能因此发生变化。 |
| 400 | 1、语义有误，当前请求无法被服务器理解。除非进行修改，否则客户端不应该重复提交这个请求。 2、请求参数有误。 |
| 401 | 当前请求需要用户验证。该响应必须包含一个适用于被请求资源的 WWW-Authenticate 信息头用以询问用户信息。客户端可以重复提交一个包含恰当的 Authorization 头信息的请求。如果当前请求已经包含了 Authorization 证书，那么401响应代表着服务器验证已经拒绝了那些证书。如果401响应包含了与前一个响应相同的身份验证询问，且浏览器已经至少尝试了一次验证，那么浏览器应当向用户展示响应中包含的实体信息，因为这个实体信息中可能包含了相关诊断信息。参见RFC 2617。 |
| 402 | 该状态码是为了将来可能的需求而预留的。 |
| 403 | 服务器已经理解请求，但是拒绝执行它。与401响应不同的是，身份验证并不能提供任何帮助，而且这个请求也不应该被重复提交。如果这不是一个 HEAD 请求，而且服务器希望能够讲清楚为何请求不能被执行，那么就应该在实体内描述拒绝的原因。当然服务器也可以返回一个404响应，假如它不希望让客户端获得任何信息。 |
| 404 | 请求失败，请求所希望得到的资源未被在服务器上发现。没有信息能够告诉用户这个状况到底是暂时的还是永久的。假如服务器知道情况的话，应当使用410状态码来告知旧资源因为某些内部的配置机制问题，已经永久的不可用，而且没有任何可以跳转的地址。404这个状态码被广泛应用于当服务器不想揭示到底为何请求被拒绝或者没有其他适合的响应可用的情况下。 |
| 405 | 请求行中指定的请求方法不能被用于请求相应的资源。该响应必须返回一个Allow 头信息用以表示出当前资源能够接受的请求方法的列表。 鉴于 PUT，DELETE 方法会对服务器上的资源进行写操作，因而绝大部分的网页服务器都不支持或者在默认配置下不允许上述请求方法，对于此类请求均会返回405错误。 |
| 406 | 请求的资源的内容特性无法满足请求头中的条件，因而无法生成响应实体。 除非这是一个 HEAD 请求，否则该响应就应当返回一个包含可以让用户或者浏览器从中选择最合适的实体特性以及地址列表的实体。实体的格式由 Content-Type 头中定义的媒体类型决定。浏览器可以根据格式及自身能力自行作出最佳选择。但是，规范中并没有定义任何作出此类自动选择的标准。 |
| 407 | 与401响应类似，只不过客户端必须在代理服务器上进行身份验证。代理服务器必须返回一个 Proxy-Authenticate 用以进行身份询问。客户端可以返回一个 Proxy-Authorization 信息头用以验证。参见RFC 2617。 |
| 408 | 请求超时。客户端没有在服务器预备等待的时间内完成一个请求的发送。客户端可以随时再次提交这一请求而无需进行任何更改。 |
| 409 | 由于和被请求的资源的当前状态之间存在冲突，请求无法完成。这个代码只允许用在这样的情况下才能被使用：用户被认为能够解决冲突，并且会重新提交新的请求。该响应应当包含足够的信息以便用户发现冲突的源头。 冲突通常发生于对 PUT 请求的处理中。例如，在采用版本检查的环境下，某次 PUT 提交的对特定资源的修改请求所附带的版本信息与之前的某个（第三方）请求向冲突，那么此时服务器就应该返回一个409错误，告知用户请求无法完成。此时，响应实体中很可能会包含两个冲突版本之间的差异比较，以便用户重新提交归并以后的新版本。 |
| 410 | 被请求的资源在服务器上已经不再可用，而且没有任何已知的转发地址。这样的状况应当被认为是永久性的。如果可能，拥有链接编辑功能的客户端应当在获得用户许可后删除所有指向这个地址的引用。如果服务器不知道或者无法确定这个状况是否是永久的，那么就应该使用404状态码。除非额外说明，否则这个响应是可缓存的。 410响应的目的主要是帮助网站管理员维护网站，通知用户该资源已经不再可用，并且服务器拥有者希望所有指向这个资源的远端连接也被删除。这类事件在限时、增值服务中很普遍。同样，410响应也被用于通知客户端在当前服务器站点上，原本属于某个个人的资源已经不再可用。当然，是否需要把所有永久不可用的资源标记为'410 Gone'，以及是否需要保持此标记多长时间，完全取决于服务器拥有者。 |
| 411 | 服务器拒绝在没有定义 Content-Length 头的情况下接受请求。在添加了表明请求消息体长度的有效 Content-Length 头之后，客户端可以再次提交该请求。 |
| 412 | 服务器在验证在请求的头字段中给出先决条件时，没能满足其中的一个或多个。这个状态码允许客户端在获取资源时在请求的元信息（请求头字段数据）中设置先决条件，以此避免该请求方法被应用到其希望的内容以外的资源上。 |
| 413 | 服务器拒绝处理当前请求，因为该请求提交的实体数据大小超过了服务器愿意或者能够处理的范围。此种情况下，服务器可以关闭连接以免客户端继续发送此请求。 如果这个状况是临时的，服务器应当返回一个 Retry-After 的响应头，以告知客户端可以在多少时间以后重新尝试。 |
| 414 | 请求的URI 长度超过了服务器能够解释的长度，因此服务器拒绝对该请求提供服务。这比较少见，通常的情况包括： 本应使用POST方法的表单提交变成了GET方法，导致查询字符串（Query String）过长。 重定向URI “黑洞”，例如每次重定向把旧的 URI 作为新的 URI 的一部分，导致在若干次重定向后 URI 超长。 客户端正在尝试利用某些服务器中存在的安全漏洞攻击服务器。这类服务器使用固定长度的缓冲读取或操作请求的 URI，当 GET 后的参数超过某个数值后，可能会产生缓冲区溢出，导致任意代码被执行[1]。没有此类漏洞的服务器，应当返回414状态码。 |
| 415 | 对于当前请求的方法和所请求的资源，请求中提交的实体并不是服务器中所支持的格式，因此请求被拒绝。 |
| 416 | 如果请求中包含了 Range 请求头，并且 Range 中指定的任何数据范围都与当前资源的可用范围不重合，同时请求中又没有定义 If-Range 请求头，那么服务器就应当返回416状态码。 假如 Range 使用的是字节范围，那么这种情况就是指请求指定的所有数据范围的首字节位置都超过了当前资源的长度。服务器也应当在返回416状态码的同时，包含一个 Content-Range 实体头，用以指明当前资源的长度。这个响应也被禁止使用 multipart/byteranges 作为其 Content-Type。 |
| 417 | 在请求头 Expect 中指定的预期内容无法被服务器满足，或者这个服务器是一个代理服务器，它有明显的证据证明在当前路由的下一个节点上，Expect 的内容无法被满足。 |
| 421 | 从当前客户端所在的IP地址到服务器的连接数超过了服务器许可的最大范围。通常，这里的IP地址指的是从服务器上看到的客户端地址（比如用户的网关或者代理服务器地址）。在这种情况下，连接数的计算可能涉及到不止一个终端用户。 |
| 422 | 从当前客户端所在的IP地址到服务器的连接数超过了服务器许可的最大范围。通常，这里的IP地址指的是从服务器上看到的客户端地址（比如用户的网关或者代理服务器地址）。在这种情况下，连接数的计算可能涉及到不止一个终端用户。 |
| 422 | 请求格式正确，但是由于含有语义错误，无法响应。（RFC 4918 WebDAV）423 Locked 当前资源被锁定。（RFC 4918 WebDAV） |
| 424 | 由于之前的某个请求发生的错误，导致当前请求失败，例如 PROPPATCH。（RFC 4918 WebDAV） |
| 425 | 在WebDav Advanced Collections 草案中定义，但是未出现在《WebDAV 顺序集协议》（RFC 3658）中。 |
| 426 | 客户端应当切换到TLS/1.0。（RFC 2817） |
| 449 | 由微软扩展，代表请求应当在执行完适当的操作后进行重试。 |
| 500 | 服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器的程序码出错时出现。 |
| 501 | 服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求。 |
| 502 | 作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。 |
| 503 | 由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。如果能够预计延迟时间，那么响应中可以包含一个 Retry-After 头用以标明这个延迟时间。如果没有给出这个 Retry-After 信息，那么客户端应当以处理500响应的方式处理它。 注意：503状态码的存在并不意味着服务器在过载的时候必须使用它。某些服务器只不过是希望拒绝客户端的连接。 |
| 504 | 作为网关或者代理工作的服务器尝试执行请求时，未能及时从上游服务器（URI标识出的服务器，例如HTTP、FTP、LDAP）或者辅助服务器（例如DNS）收到响应。 注意：某些代理服务器在DNS查询超时时会返回400或者500错误 |
| 505 | 服务器不支持，或者拒绝支持在请求中使用的 HTTP 版本。这暗示着服务器不能或不愿使用与客户端相同的版本。响应中应当包含一个描述了为何版本不被支持以及服务器支持哪些协议的实体。 |
| 506 | 由《透明内容协商协议》（RFC 2295）扩展，代表服务器存在内部配置错误：被请求的协商变元资源被配置为在透明内容协商中使用自己，因此在一个协商处理中不是一个合适的重点。 |
| 507 | 服务器无法存储完成请求所必须的内容。这个状况被认为是临时的。WebDAV (RFC 4918) |
| 509 | 服务器达到带宽限制。这不是一个官方的状态码，但是仍被广泛使用。 |
| 510 | 获取资源所需要的策略并没有没满足。（RFC 2774） |
2.4. 网络数据抓包分析
进行网络爬虫程序开发之前，首先针对网络数据进行定位分析非常重要，对于网络数据的定位处理通常使用抓包工具进行操作，常用的抓包工具如浏览器F12工具、Fiddler、wireshark等等，在爬虫处理过程中，使用较多的是F12网络工具和Fiddler。
