Scrapy 框架 item 存入mongodb数据库
一个模版,直接用就好了,看懂就行:https://blog.csdn.net/topleeyap/article/details/78916683
参考2:https://blog.csdn.net/topleeyap/article/details/79029530
Scrapy命令行
几个你需要知道的命令行操作:
http://blog.csdn.net/topleeyap/article/details/79124136
有些网站需要user—Agent 才能正常的爬取,比如说豆瓣
scrapy shell "https://movie.douban.com/subject/1306029/" -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (K HTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"
- Base Spider使用
参考资料
【1】Scrapy框架 基础 豆瓣:https://zhuanlan.zhihu.com/woodenrobot?topic=scrapy
【scrapy进阶使用3套】:
1. 小白进阶之Scrapy第一篇:https://cuiqingcai.com/3472.html
2.进阶Scrapy第二篇:https://cuiqingcai.com/3952.html/2
【3】scrapy进阶使用:
【4】正则表达式
[5] 日期时间StripTime & striftime
http://www.runoob.com/python/att-time-strptime.html