Spider是最简单的spider。每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。 Spider并没有提供什么特殊的功能。 其仅仅请求给定的 start_urls/start_requests ，并根据返回的结果(resulting responses)调用spider的 parse 方法。
name
定义spider名字的字符串(string)。spider的名字定义了Scrapy如何定位(并初始化)spider，所以其必须是唯一的。 不过您可以生成多个相同的spider实例(instance)，这没有任何限制。 name是spider最重要的属性，而且是必须的。allowed_domains
可选。包含了spider允许爬取的域名(domain)列表(list)。 当OffsiteMiddleware启用时， 域名不在列表中的URL不会被跟进。
start_urls
URL列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。 因此，第一个被获取到的页面的URL将是该列表之一。 后续的URL将会从获取到的数据中提取。start_requests()
该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。
当spider启动爬取并且未制定URL时，该方法被调用。 当指定了URL时，make_requests_from_url()将被调用来创建Request对象。 该方法仅仅会被Scrapy调用一次，因此您可以将其实现为生成器。
该方法的默认实现是使用start_urls的url生成Request。
如果您想要修改最初爬取某个网站的Request对象，您可以重写(override)该方法。 例如，如果您需要在启动时以POST登录某个网站，你可以这么写:
def start_requests(self):
return [scrapy.FormRequest("http://www.example.com/login",
formdata={'user': 'john', 'pass': 'secret'},
callback=self.logged_in)]
def logged_in(self, response):
# here you would extract links to follow and return Requests for
# each of them, with another callback
pass
make_requests_from_url(url)
该方法接受一个URL并返回用于爬取的Request对象。 该方法在初始化request时被start_requests()调用，也被用于转化url为request。
默认未被复写(overridden)的情况下，该方法返回的Request对象中，parse()作为回调函数，dont_filter参数也被设置为开启。 (详情参见Request).parse(response)
当response没有指定回调函数时，该方法是Scrapy处理下载的response的默认方法。
parse负责处理response并返回处理的数据以及(/或)跟进的URL。Spider对其他的Request的回调函数也有相同的要求。
该方法及其他的Request回调函数必须返回一个包含Request及(或)Item的可迭代的对象。closed(reason)
当spider关闭时，该函数被调用。 该方法提供了一个替代调用signals.connect()来监听
