作者：xlzd
链接：https://zhuanlan.zhihu.com/p/20413828
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
那么，乘热打铁开始爬虫之旅吧！
当我们在上网的时候，我们在干什么
（很多读者有这方面的基础，这部分主要用于为纯小白恶补一下）你有没有想过，当你在Chrome输入"ｈｔｔｐ：／／ｗｗｗ．ｂａｉｄｕ．ｃｏｍ"的时候，实际上发生了什么事情？
当你在浏览器输入"ｈｔｔｐ：／／ｗｗｗ．ｂａｉｄｕ．ｃｏｍ"（事实上就算你没有输入http://，大多数浏览器也会为你拼装好）后，你得知道你实际上是输入了一个URL。URL全称是统一资源定位符（Uniform Resource Locator），它用来唯一标识网络上的一个资源，通俗的讲，它的常规表现是一个网址（抬头看一下你的浏览器地址栏的东西）。至于URL的详细组成这里不一一赘述，不过你可以在网上找到很多关于URL的严谨的教程。
然后你会按下回车，接着你看到了一个进度条迅速或者缓慢（看你的网速了）走过去了，然后浏览器上就出现了这个：
这个过程中，浏览器首先向DNS服务器请求了ｂａｉｄｕ．ｃｏｍ对应的IP地址，这里又涉及到了两个概念：
IP地址： IP地址是你在网络上的地址，大部分情况下它的表示是一串类似于192.168.1.1的数字串。你访问一个网址的时候，事实上就是向这个IP地址请求了一堆数据。
DNS： 而DNS服务器则是记录IP到域名映射关系的服务器，爬虫在很大层次上不关系这一步的过程，所以这里不多赘述。不过上面访问百度的例子多说一句，浏览器并不会直接向DNS服务器查询ｂａｉｄｕ．ｃｏｍ的IP，这个过程要复杂的多，包括向浏览器自己、hosts文件等很多地方先查找一次，上面的说法只是一个统称。
浏览器得到IP地址之后，浏览器就会向这个地址发送一个HTTP请求。然后从百度的服务器端请求到了首页的HTML源码，然后通过浏览器引擎解析源码，再次向服务器发请求得到里面引用过的Javascript、CSS、图片等资源，得到了上面的首页模样。
注意：这个过程有些细节部分事实上和我上面讲的有一些出入，这里为了纯小白读者尽量理解而精简过。
爬虫要干什么
大多数情况下，爬虫其实就是在模拟上面的过程。当然爬虫不会全部模拟一遍，而是会选择合适的步骤模拟。比如大多数情况下我们并不会去请求CSS和Javascript文件，而只是会请求HTML源码或者我们需要的数据。在得到源码后，就像浏览器会解析HTML源码一样，我们的爬虫也会解析HTML，筛选出我们想要的内容保存。
简单上手尝试
这里我们会简单尝试写一个小小的爬虫，小到你甚至不会以为这是一个爬虫的小爬虫——请求百度首页。
我们暂时不是用IDE来编写代码，而是直接使用一个Python的交互环境——ipython。后续我们会基于IDE编写很大的爬虫，不过目前还不需要。你可以直接通过pip install ipython来安装，并通过ipython命令进入这个交互环境。
In[1]:importurllibIn[2]:response=urllib.urlopen('ｈｔｔｐ：／／ｗｗｗ．ｂａｉｄｕ．ｃｏｍ／')# 向百度服务器发送请求In[3]:response.code# 2xx表示成功，3xx表示你应该去另一个地址，4xx表示你错了，5xx表示服务器错了Out[3]:200In[4]:response.read()# 读出得到的响应Out[4]:'
这里我们使用了Python自带的urllib来发送请求，这将是我们唯一一次使用它，之后大多数情况下我们将会使用requests，这是一个更加人性化的库，你可以在这里简单了解一下它。
上面的例子虽然很小，不过已经完成了爬虫的一半工作——发送请求并得打响应，剩下的一半是——解析源码并处理需要的数据。
小结
这里我们简单了解了浏览器请求数据的过程，并使用Python模拟了这个过程。爬虫的第一步已经踏出，接下来我们会遇到很多问题，并会一一解决之。
