原文地址：LoveDev
Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors)，他们通过特定的 XPath 或者 CSS 表达式来选择HTML文件中的某个部分。
XPath
XPath 是一门在 XML 文档中查找信息的语言，CSS 是一门将HTML文档样式化的语言，本文主要介绍 XPath
以一个图片为例子：
<?xml version="1.0" encoding="UTF-8"?>
<div class="item">
<table class="pic">
<a href="https://movie.douban.com/subject/1292052/">
<div>hello, world</div>
</a>
</table>
</div>
节点
在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及根节点。XML 文档是被作为节点树来对待的。树的根被称为根节点。
在上面例子中：
-
div：根节点 -
table：元素节点 -
href：属性节点
选取节点
| Expression | Alias |
|---|---|
| nodename | 选取当前节点下所有子节点 |
| / | 绝对路径 |
| // | 文档中所有该节点 |
| . | 当前节点 |
| .. | 父节点 |
| @ | 选取属性 |
是不是很眼熟呢？和命令行操作很类似
| Expression | Alias |
|---|---|
| div | div下所有子节点 |
| /div | div根节点 |
| div/table | div子元素中所有table节点 |
| //img | 所有img节点 |
| div//img | div后代元素中所有table节点 |
| //@src | 名为src的所有属性 |
谓语
谓语用来查找某个特定的节点或者包含某个指定的值的节点
| Expression | Alias |
|---|---|
| //img[@alt="1"] | alt值为1的节点中src属性的值 |
| //a/img[1] | a中子元素的第一个img元素 |
| //a/img[last()] | a中子元素的最后一个img元素 |
获取值
| Expression | Alias |
|---|---|
| //img[@alt="1"]/@src | alt值为1的节点中src属性的值 |
| /div/@class | div根节点中class属性的值 |
| //a/div/text() | div节点中的hello, world |
捷径
伟大的 chrome 已经提供了直接复制 XPath 功能，在开发者工具中右键节点选择 Copy -> Copy XPath，就可以获取到 XPath 的绝对路径
选择器
由于在response中使用XPath、CSS查询十分普遍，因此，Scrapy提供了两个实用的快捷方式：response.xpath() 及 response.css()：
标准选择器
# alt属性值为1的img元素
response.xpath('//img[@alt="1"]')
xpath() 及 css() 返回 SelectorList 类的实例，这是一个新选择器的列表，SelectorList 类是内建 list 类的子类，并提供一些额外的方法
| Method | Alias |
|---|---|
| xpath(query) | 结果为一个单一化的 SelectorList |
| css(query) | 结果为一个单一化的 SelectorList |
| extract() | 提取真实的原文数据，结果为单一化的unicode字符串列表 |
| re() | 通过正则表达式来提取数据，结果为单一化的unicode字符串列表 |
| nonzero() | 列表非空返回True，否则返回False |
嵌套选择器
# 包含src属性，并且src属性值中包含doubanio字符串的img元素
response.xpath('//img[contains(@src, "doubanio")]')
带有正则的选择器
Selector 有一个 .re() 方法，可以用来通过正则表达式来提取数据，例如在 Scrapy学习笔记01-初窥 中：
# 获取 “12345评论” 中的12345
item['commentsNum'] = sel.xpath('div[2]/div[2]/div/span[4]/text()').re(r'[\d]+')[0]
- 括号里面的第一个
r表示字符串为非转义的原始字符串，强烈推荐不管有没有转义字符都加上
