最近要采集一些数据，给项目做分析用。在小伙伴的推荐下，先去读了《Python网络数据采集》这本书。Python是很容易上手的语言，在参考书上做了几个小例子后，luckly下载到了数据，也用上了requests和BeautifulSoup库。
不过很快，我就被打击到了，要采集的有很多页，怎么办？
仔细看了看网站的地图还挺复杂的，只好一层层地打开页面分析链接，用各种正则表达式去匹配页面上的URL。
然后，就崩溃了，哈哈。我记不清自己在编辑哪一层页面上的代码了……
看来引入一些技术手段是必要的了。于是看上了Scrapy，虽然及至现在我还不太清楚Scrapy是不是能够满足我的要求：
- 能够找到页面上的跳转链接
- 能够到达最深层的页面且不跑出域
- 在最深层的页面采集数据保存下来
也许会有更好的工具吧？不过先试着学习一下，看了几篇教程，感觉理解难度蛮高的。我还是适合做笔记来帮助理解的学习方式。于是，我会在这里更新学习的过程。
看的教程是：
https://piaosanlang.gitbooks.io/spiders/04day/section4.3.html
Step1：新建一个Scrapy项目
首先在终端输入：
scrapy startproject tutorial #tutorial 可以换成自己的名字
就会在当前文件夹下生成目录：
scrapy.cfg: 项目的配置文件；（用于发布到服务器）
tutorial/: 该项目文件夹。之后将在此编写Python代码。
tutorial/spiders/: 放置spider代码的目录;（编写爬取网站规则）
tutorial/items.py: 项目中的item文件;（定义结构化数据字段field）
tutorial/pipelines.py: 项目中的pipelines文件;（用于存放执行后期数据处理的功能，定义如何存储结构化数据)
tutorial/settings.py: 项目的设置文件；(如何修改User-Agent，设置爬取时间间隔，设置代理，配置中间件等等)
附上Windows下打开终端的方法：按住Shift键的同时，点击鼠标右键，就在菜单里了~ Win10默认的终端是PowerShell，过去是命令提示符（CMD）。Linux用户的话，终端应该经常用到吧，用不着我在这里说了~
Step2：定义Item（结构化字段）
所谓的结构化字段呢，就是一条数据有哪些指标是我们关心的，是需要存储的。有点像学C时讲的结构体。
可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item。在Python中，类属性就是在类中定义的变量。据说 scrapy.Field是什么类型都接收的，有错请指正。
首先根据需要从腾讯招聘获取到的数据对item进行建模。 我们需要从腾讯招聘中获取 职位名称、职位详情页url、职位类别、人数、工作地点以及发布时间。 对此，在item中定义相应的字段。编辑 tutorial 目录中的 items.py 文件:
import scrapy#导入爬虫库
class RecruitItem(scrapy.Item):
name = scrapy.Field()
detailLink = scrapy.Field()
catalog = scrapy.Field()
recruitNumber = scrapy.Field()
workLocation = scrapy.Field()
publishTime = scrapy.Field()
Step3：编写第一个爬虫(Spider)
蜘蛛不是爬虫类呀
Spider是开发者编写用于从单个网站(或者一些网站)爬取数据的类。
创建一个Spider，必须继承 'scrapy.Spider' 类，然后定义以下三个属性:
- name：spider名字，它必须是唯一的；
- start_urls：初始的URL列表；
- parse(self, response)：每个初始URL完成下载后被调用，这个函数要完成的功能：
- 负责解析返回的网页数据(response.body)，提取结构化数据(生成item)；
- 生成下一页的请求URL。
先不理会这几句话的意思，看看代码再想。
在tutorial/spiders文件夹下，新建一个名为tencent_spider.py的文件，复制如下代码：
import scrapy
class RecruitSpider(scrapy.spiders.Spider):
name = "tencent"
allowed_domains = ["hr.tencent.com"]
start_urls = [
"http://hr.tencent.com/position.php?&start=0#a"
]
def parse(self, response):
f = open('tengxun.txt', 'wb')
f.write(response.body)
f.close()
- 爬虫的名字name是tencent
- 初始url列表start_urls里就一条： "http://hr.tencent.com/position.php?&start=0#a"
- parse里面的三行语句告诉我们：创建了名为tengxun.txt的文档，然后把spider获得的返回值response中body的内容，以二进制方式写入tengxun.txt里。
- 虽然教程中没有作解释，猜想
allowed_domains = ["hr.tencent.com"]那句的功能是不让爬虫离开这个域名下的网页。 - 还有就是
class RecruitSpider(scrapy.spiders.Spider):，应该class RecruitSpider(scrapy.Spider):就可以了吧？
Step4：爬取
进入scrapy.cfg所在的目录，在Shell中执行下列命令启动spider:
scrapy crawl tencent
可以看到目录下生成了txt文件，里面保存了start_urls网页的源代码。相应地，如果把数据的存储格式从txt改为html（本质上没有区别），就可以用浏览器看到渲染出的网页了。不过仅仅带有成格式排列的文本信息。
对这些数据做进一步处理，正是咱们的目标。
在继续前进之前，先做一个小试验，把tencent_spider.py中start_urls的代码修改成：
start_urls = [
"http://hr.tencent.com/position.php?&start=0#a",
"https://hr.tencent.com/position.php?&start=10#a"
]
第二个网址，是第一个页面的下一页。再运行爬虫，然后打开保存的tengxun.html。期待究竟是会不会显示第2页呢？结果是，只显示了第一页，和刚才的结果一样。
看来scrapy内部运行的机制，并不如我所想象。毕竟现在还在学习，在不了解前scrapy还是个黑箱。
