(只是为了记录自己对于scrapy框架的学习路径)
废话不多说先上图(跟先人学的)
老板要求,写个爬虫框架出来,结果自己直接import scrapy,被老板劈头盖脸骂过来,直接怂的不行,认错,收拾心情开始看源码。鉴于之前写的一部分scrapy的代码,结合上面的这个图,第一天也就说说自己对scrapy框架的一些基本理解。
目前我做的工程,主要目的是爬取,百度学术的一些论文数据。包括它的标题,摘要,作者等等。从这个工程的分布来看,主要有几个模块。
第一个模块就是spider里面的py文件,这个文件规定了一些基本信息包括爬虫的名称,start_url,以及页面response的主要解析过程。
我这边用parse来处理主要的url以及获取下一页url,再用request方法,callback里面设置parse_detail方法去解析每一个具体论文的网页。
有别的大神说如果你的爬虫写的够完美,利用了scrapy框架之后,遇到新的网站,你只要修改一个parse解析方法,就可以了。我不知道是不是吹牛皮,但至少现在看来,还是要修改很多东西的。包括item,数据库连接等等。
第二个部分就是item的部分。在其他地方好像也叫管道,他规定了scrapy存储下来数据的方式。在第一个模块中进行声明和实例化:
这个跟上面的parse_detail相对应。
第三个部分就是middleware,pipeline部分,其实实质上可以把两个都看成中间件,一个是固化中间件,一个是存储中间件。白话说就是,,,,middleware就是每次你跟网页请求的时候,过去的request经过一下middleware中间件,稍微给你做一个处理:
比如我这边就写了一下这个类,然后利用里面规定的process_request方法来处理并返回request,接受spider是为了跟你第一部分声明的spider相对应。这边有两种方法,一种是直接用spider的name跟middleware对应,一种是用meta,自己上去第一部分找一下meta的句子你就懂了,为什么在详情界面需要meta?因为需要点击“更多”这个按钮,来确保摘要加载完全。
接下来就是pipeline,你可以理解为管道,存储用的。我这边写了两个,一个是把结果写成json的class,另一个是把结果存到数据库的class:
好了,管道都铺好了,你们应该可以发现,上面的都是类,怎么实例化?或者说,怎么调用里面的方法?那就要说到最后一部分,setting了,设置管道在那儿,设置middleware在那儿,设置spidername,初始化等等。
具体运行机制或者说怎么调用我还不太清楚,但是这边就这么设置,最后还有两个要设置。
一个是浏览器非机器人模式,也就告诉浏览器,这不是一个robot在偷你东西。
另一个是利用user_agent.
两个都是为了防止浏览器反爬虫,都在setting里面加进去就好了。还有好多东西比如设置代理ip等等,我还没看,等看到再详谈。
第一次写,希望可以坚持下去,希望可以加油。
有什么不对的地方,欢迎大家狠狠批斗我,不能误导他人,谢谢。