如何安装和创建项目这个不说了。直接上代码
在spiders目录下创建crawl.py
import scrapy
from bs4 import BeautifulSoup
class AppleCrawler(scrapy.Spider):
name = "apple"
start_urls = ['http://www.appledaily.com.tw/realtimenews/section/new']
def parse(self,response):
res = BeautifulSoup(response.body)
for news in res.select('.rtddt'):
print news.select('h1')[0].text
```
然后打开CDM 直接运行吧
`scrapy crawl apple`
![QQ截图20160728232347.png](http://upload-images.jianshu.io/upload_images/2577034-13ea43198021937f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
都是现学现做的,其实我现在还不会用scrapy爬图片还有保存。这两天再找个能用的教程学下爬图片。简书上有两个scrapy爬图片的教程,可是我复制代码好像用不了。昨天其实有想学使用Git,可是上传不了,过段时间再学好了。