目标抓取盗墓笔记小说网站上《盗墓笔记》这本书的书名、章节名、章节url,并存放到MongoDB中
1.Scrapy中settings.py的设置(先scrapy startproject novelspider)
在settings.py中配置MongoDB的IP地址、端口号、数据记录名称,并通过settings.py使pipelines.py生效:
2.Scrapy中item.py设置
3.Scarpy中pipelines.py的设置
在pipelines中可以像普通的python文件操作MongoDB一样编写代码出来需要保持到MongoDB中的数据,然而不同的是这里的数据来自items,这样做的好处是将数据抓取和处理分开。
在通过settings导入MONGODB字典时竟然报错了~~~~(玛德),所示格式错误,不明所以,故mongodb的设置直接写到pipelines中。把spider抓取到的数据存放到item实例中,再通过dict字典化insert到mongodb中。
4.spider文件下新建novspider.py
5.运行爬虫
有两种方法运行,一种是直接在cmd下输入 scrapy crawl xxxspider,当然你得先cd到xxxspider文件夹下;
另一种是在xxxspider文件夹下(和scrapy.cfg同一个目录下)建立一个mian.py脚本,其内容为:
6.运行结果
刷新mongodb,我存放到mydb3中:
8.源码
我分享到了百度云盘:链接:http://pan.baidu.com/s/1dFjxViD 密码:a8m7
可能会失效,有需要的M我~~~~ 谢谢大家支持,荆轲刺秦王!