Scrapy是一个快速的高层次的爬取和网页抓取框架，用于抓取网页并从页面中提取结构化的数据。Scrapy使用了一些组件，这些组件共同协作完成爬取任务。本文将详细介绍Scrapy中的几个主要组件，并给出如何使用这些组件的代码示例。
准备工作
确保已经安装了Scrapy：
pip install scrapy
创建一个Scrapy项目
创建一个新的Scrapy项目，可以使用以下命令：
scrapy startproject myspider
进入项目目录：
cd myspider
定义一个Item
Item 是保存爬取到的数据的容器。它的使用方法类似于Python的字典，但是提供了额外的保护机制来避免拼写错误或者分配错误的字段。
在 myspider/items.py 文件中定义你的item：
import scrapy
class MyItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
编写一个Spider
Spider 是Scrapy用于从单个网站（或者一组网站）抓取信息的类。它提供了一种为特定网站或页面编写爬取逻辑的方法。
在 myspider/spiders/ 目录下创建一个新的spider，例如 example_spider.py：
import scrapy
from myspider.items import MyItem
class ExampleSpider(scrapy.Spider):
name = 'example'
allowed_domains = ['example.com']
start_urls = ['http://example.com/']
def parse(self, response):
for sel in response.xpath('//ul/li'):
item = MyItem()
item['title'] = sel.xpath('a/text()').get()
item['link'] = sel.xpath('a/@href').get()
item['desc'] = sel.xpath('text()').get()
yield item
这个例子中，parse 方法将会被调用来处理每一个请求到的Response对象。方法中，我们使用了XPath选择器来选取标题，链接和描述。Item被填充并yield回Scrapy引擎。
运行爬虫
运行你的spider：
scrapy crawl example
Scrapy组件
在Scrapy框架中，整个爬虫系统构成包括了以下几个关键组件：
Scrapy Engine（引擎）：控制所有模块之间的数据流，并在某些动作触发时触发事件。
Scheduler（调度器）：接受引擎发送的请求并将其入队，以便之后引擎请求。
Downloader（下载器）：用于下载Scrapy Engine（引擎）发送的所有请求，并将网页内容返回给Spiders（爬虫）。
Spiders（爬虫）：处理所有响应，并解析数据，发送新的请求。
Item Pipeline（项目管道）：处理由Spider从web page中抽取的Item。
Downloader Middlewares（下载器中间件）：位于Engine（引擎）和Downloader（下载器）之间的钩子框架，主要是处理Engine与Downloader之间的请求及响应。
Spider Middlewares（爬虫中间件）：处理Spider的输入（Responses）和输出（Items及Requests）。
结语
Scrapy的组件化架构为编写专项爬虫提供了极大的灵活性和控制力，同时也保持了简单和易用性。通过上述的组件介绍和代码示例，你可以开始构建自己的Scrapy爬虫应用，提取和搜集网络上的数据。
