Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment 。
1:Tag
Tag对象与XML或HTML原生文档中的tag相同：
>>> soup=BeautifulSoup('<b class="boldest">Extremely bold</b>')
>>> tag = soup.b
>>> tag
<b class="boldest">Extremely bold</b>
>>> type(tag)
<class 'bs4.element.Tag'>
Tag有很多方法和属性.现在介绍一下tag中最重要的属性: name和attributes
Name
每个tag都有自己的名字，通过 .name来获取
>>> tag.name
'b'
如果改变了tag的name，那将影响所有通过当前Beautiful Soup对象生成的HTML文档：
>>> tag.name = 'blockquote'
>>> tag
<blockquote class="boldest">Extremely bold</blockquote>
Attributes
一个tag可能有很多个属性. tag <b class="boldest"> 有一个 “class” 的属性,值为 “boldest” .
tag的属性的操作方法与字典相同：
>>> tag['class']
['boldest']
也可以直接“点”取属性，比如： .attrs：
>>> tag.attrs
{'class': ['boldest']}
tag的属性可以被添加,删除或修改. 再说一次, tag的属性操作方法与字典一样
>>> tag['class'] = 'verybold'
>>> tag['id'] = 1
>>> tag
<b class="verybold" id="1">Extremely bold</b>
>>> del tag['class']
>>> del tag['id']
>>> tag
<b>Extremely bold</b>
>>> tag['class']
Traceback (most recent call last):
File "<input>", line 1, in <module>
tag['class']
File "/usr/local/lib/python3.5/site-packages/bs4/element.py", line 997, in __getitem__
return self.attrs[key]
KeyError: 'class'
>>> print(tag.get('class'))
None
多值属性
最常见的多值的属性是 class (一个tag可以有多个CSS的class). 还有一些属性 rel , rev , accept-charset , headers , accesskey . 在Beautiful Soup中多值属性的返回类型是list：
>>> css_soup = BeautifulSoup('<p class="body strikeout"></p>')
>>> css_soup.p['class']
['body', 'strikeout']
>>> css_soup = BeautifulSoup('<p class="body"></p>')
>>> css_soup.p['class']
['body']
如果某个属性看起来好像有多个值,但在任何版本的HTML定义中都没有被定义为多值属性,那么Beautiful Soup会将这个属性作为字符串返回
>>> id_soup = BeautifulSoup('<p id="my id"></p>')
>>> id_soup.p['id']
'my id'
将tag转换成字符串时，多值属性会合并为一个值
>>> rel_soup = BeautifulSoup('<p>Back to the <a rel="index">homepage</a></p>')
>>> rel_soup.a['rel']
['index']
>>> rel_soup.a['rel'] = ['index','contents']
>>> print(rel_soup.p)
<p>Back to the <a rel="index contents">homepage</a></p>
如果转换的文档时XML格式，那么tag中不包含多值属性
>>> xml_soup = BeautifulSoup('<p class="body strikeout"></p>', 'xml')
>>> xml_soup.p['class']
'body strikeout'
2:可遍历的字符串
字符串常被包含在tag内.Beautiful Soup用 NavigableString 类来包装tag中的字符串:
>>> tag.string
'Extremely bold'
>>> type(tag.string)
<class 'bs4.element.NavigableString'>
一个 NavigableString 字符串与Python中的Unicode字符串相同,并且还支持包含在 遍历文档树 和 搜索文档树 中的一些特性. 通过 unicode() 方法可以直接将 NavigableString 对象转换成Unicode字符串:
unicode_string = unicode(tag.string)
unicode_string
# u'Extremely bold'
type(unicode_string)
# <type 'unicode'>
上面的转换，python3.5好像不支持，倒是支持转化为string：
>>> str(tag.string)
'Extremely bold'
>>> type(str(tag.string))
<class 'str'>
tag中包含的字符串不能编辑，但是可以被替换成其它的字符串，用replace_with()方法：
>>> tag.string.replace_with("No longer bold")
'Extremely bold'
>>> tag
<b class="boldest">No longer bold</b>
NavigableString 对象支持 遍历文档树 和 搜索文档树 中定义的大部分属性, 并非全部.尤其是,一个字符串不能包含其它内容(tag能够包含字符串或是其它tag),字符串不支持 .contents 或 .string 属性或 find() 方法.
如果想在Beautiful Soup之外使用 NavigableString 对象,需要调用 unicode() 方法,将该对象转换成普通的Unicode字符串,否则就算Beautiful Soup的方法已经执行结束,该对象的输出也会带有对象的引用地址.这样会浪费内存.
3:BeautifulSoup
BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象,它支持 遍历文档树 和 搜索文档树 中描述的大部分的方法.
因为 BeautifulSoup 对象并不是真正的HTML或XML的tag,所以它没有name和attribute属性.但有时查看它的 .name 属性是很方便的,所以 BeautifulSoup 对象包含了一个值为 “[document]” 的特殊属性 .name
>>> soup.name
'[document]'
4:注释及特殊字符串(Comment)
Tag , NavigableString , BeautifulSoup 几乎覆盖了html和xml中的所有内容,但是还有一些特殊对象.容易让人担心的内容是文档的注释部分:
>>> markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
>>> soup = BeautifulSoup(markup)
>>> comment = soup.b.string
>>> type(comment)
<class 'bs4.element.Comment'>
Comment对象是一个特殊类型的NavigableString对象：
>>> comment
'Hey, buddy. Want to buy a used parser?'
但是当它出现在HTML文档中时, Comment 对象会使用特殊的格式输出:
>>> print(soup.b.prettify())
<b>
<!--Hey, buddy. Want to buy a used parser?-->
</b>
Beautiful Soup中定义的其它类型都可能会出现在XML的文档中: CData , ProcessingInstruction , Declaration , Doctype .与 Comment 对象类似,这些类都是 NavigableString 的子类,只是添加了一些额外的方法的字符串独享.下面是用CDATA来替代注释的例子:
>>> from bs4 import CData
>>> cdata = CData("A CDATA block")
>>> comment.replace_with(cdata)
'Hey, buddy. Want to buy a used parser?'
>>> print(soup.b.prettify())
<b>
<![CDATA[A CDATA block]]>
</b>
