正则：正规表达式 用来处理字符串
单字符匹配
. 除换行之外的任意字符
\d 表示数字
\D 匹配非数字
\w 匹配单词字符[a-z,A-Z,0-9]
\W 匹配非单词字符
\s 匹配空白字符，空格，\n ,\t
\S 匹配非空白字符
^ 匹配以什么开头
& 匹配以什么结尾
[0-9] 等价于\d 匹配0-9
多字符匹配(贪婪模式)
- 匹配*前面的字符任意次数（0-无限）
- 匹配+前面的字符至少1次
? 匹配？前面的字符0-1次
{n,m} 匹配n到m次
贪婪和非贪婪的区别：贪婪模式尽可能多的匹配，非贪婪模式尽可能少的匹配
多字符匹配(非贪婪模式)
*?
+?
??
其他
() 分组
| 或
\ 转义字符
re 模块下的方法
import re
re.compile():构建正则表达式对象
re.match():从起始位置开始匹配,单次匹配,如果匹配到结果立即返回,否则返回None
str = 'adsajkdhska'
pattern = re.compile('d')
resulat = re.match(pattern,str)
if resulat:
print(resulat.group())
re.search():在整个字符串中进行匹配，单次匹配，匹配到结果立即返回，否则返回None
result = re.search(pattern,str)
print(result.group())
re.findall()：匹配出整个字符串中，所有符合正则规则的结果,返回的是一个列表
result = re.findall(pattern,str)
print(result)
re.finditer():匹配出整个字符串中所有符合正则规则的结果，返回的是一个可迭代对象
result = re.finditer(pattern,str)
print(type(result))
for i in result:
print(i,type(i))
print(i.group())
re.sub(): 根据正则表达式进行字符串转换
new_str = re.sub(pattern,'h',str)
print(new_str)
re.split(): 根据正则表达式进行分割，得到的是一个列表
result = re.split(pattern,str)
print(result)
xpath
简单来说，xpath 就是一种在 XML 文档中查找信息的语言。
基本使用
test = html.xpath('/html/head/title') #表示匹配根节点下的head节点下的title元素节点
test = html.xpath('/html/head/title/text()')#表示匹配根节点下的head节点下的title元素节点中的文本节点
test = html.xpath('/a/@href') #表示匹配a元素节点下的子节点中的 href 属性节点
test = html.xpath('//a[@href]') #匹配带有 href 属性的 <a> 标签
test = html.xpath('//a[@href="image1.html"]') #指定带有 href 属性且值为 image1.html 的 <a> 标签
bs4
from bs4 import BeautifulSoup
import lxml
import requests
url='https://www.ftms.com.cn/footernav/tendernotice'
data = requests.get(url)
soup = BeautifulSoup(data.content, 'lxml')
title = soup.find_all('title')[0].string
print(title)
