什么是 XPath

XPath（XML Path Language) 是一门在 XML 和 HTML 文档中查找信息的语言，可用来在 XML 和 HTML 文档中对元素和属性进行遍历。

XPath 开发工具

1.Chrome 插件 XPath Helper
2.Firefox 插件 XPath Checker

XPath 语法

• 选取节点

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

• 谓词

• 通配符

* 星号表示通配符

• 选取多个路径

通过在路径表达式中使用 "|" 运算符，可以选取若干个路径。
示例如下：

//bookstore/book* | //book/title
# 选取所有 book 元素以及 book 元素下所有的 title 元素

• 运算符

• contains

有时候某个属性包含多个值，就可以使用 contains 函数，示例代码如下：

//div[contains(@class, 'job_detail')

lxml 库

lxml 是一个 HTML/XML 的解析库，主要功能是如何解析和提取 HTML/XML 数据。

lxml 和 正则是一样，也是用 C 语言实现的，是一款高性能的 Python HTML/XML 解析器，可以利用之前学习的 XPath 语法，来快速定位特定元素以及节点信息。

lxml python 官方文档：http://lxml.de/index.html

可通过 pip 安装：pip install lxml

• 基本使用

我们可以利用他来解析 HTML 代码，且在解析 HTML 代码的时候，如果 HTML 代码不规范，他会自动进行补全。示例代码如下：

from lxml.html import etree

htmlText = '''
<div>
    <ul>
        <li class="item-0"><a href="link1.html">first item</a></li> 
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li> 
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li> 
    </ul>
</div>
'''

# 利用 etree.HTML，将字符串解析为 HTML 文档
html = etree.HTML(htmlText)

# 按字符串序列化 HTML 文档
result = etree.tostring(html, encoding='utf-8', pretty_print=True).decode('utf-8')

print(result)

• 在文件中读取 html 代码

除了直接使用字符串进行解析，lxml 还支持从文件中读取内容。我们新建一个 hello.html 文件：

<!-- hello.html -->
<div>
    <ul>
        <li class="item-0"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>

然后利用 etree.parse() 方法来读取读取文件，如下：

from lxml.html import etree

html = etree.parse('files/hello.html')
result = etree.tostring(html, encoding='utf-8', pretty_print=True).decode('utf-8')
print(result)

另外，需要注意的是，使用 etree.parse() 方法解析 html 内容时，有时候会报 lxml.etree.XMLSyntaxError 的错，这是因为 etree.parse() 默认使用的是 XML 的解析器，所以当 html 内容不规范，比如出现某个标签缺少闭合标签时，就会报这个错误。这时，可使用 etree.HTMLParser() 创建一个 HTML 的解析器，然后作为 etree.parse() 方法的参数即可，如下：

htmlParser = etree.HTMLParser(encoding='utf-8')
html = etree.parse('files/hello.html', parser=htmlParser)
result = etree.tostring(html, encoding='utf-8', pretty_print=True).decode('utf-8')
print(result)

• 在 lxml 中使用 XPath 语法

(1) 使用 xpath 语法，应该使用 Element.xpath 语法，来执行 xpath 的选择
(2) xpath 函数返回来的永远是一个列表

from lxml.html import etree

htmlParser = etree.HTMLParser(encoding='utf-8')
html = etree.parse('files/hello.html', parser=htmlParser)
# htmlText = etree.tostring(html, encoding='utf-8', pretty_print=True).decode('utf-8')
# print(htmlText)

lis = html.xpath('//li')
for li in lis:
    print(etree.tostring(li, encoding='utf-8', pretty_print=True).decode('utf-8'), end='')

aList = html.xpath('//a/@href')
for a in aList:
    print(a)

print('-----------------------')

lis = html.xpath('//li')
for li in lis:
    # . 号表示在当前的 li 元素下去匹配
    href = li.xpath('.//a/@href')[0]   #获取 a 标签的 href 属性
    txt = li.xpath('.//a/text()')[0]   #获取 a 标签的文本
    print(href, txt)