在这儿介绍一下scrapy很基本的命令以及他们的作用。(这些命令都是在cmd中使用的)
我们用scrapy shell name 来打开一个name的网址,比如:
scrapy shell www.baidu.com scrapy 就从网上下载了baidu的网站资料,并且打包成response.
这里面response可以显示出网站打开的状态 (by the way 网站打开的状态有,200系列成功打开,300系列跳转,400系列打开失败,500系列服务器出问题了)。
view(response),可以调用系统默认的浏览器打开网站,为什么要这么做,因为有些网站的内容是异步加载,不是说下载网站就有内容的,用view(response)可以很清晰的表名哪些是异步那些不是(举例,可以尝试shell 51job网站和拉勾网看一下不同)
scrapy list 查看当前目录下有多少爬虫
scrapy crawl name,可以运行一直叫做name的爬虫
scrapy genspider(留在之后说)
scrapy check测试爬虫是否有错误
scrapy startproject name 新建一个叫name的爬虫项目
我目前比较常用的几个都在这儿了。