在学习Python爬取网页的时候,我们经常会遇到编码方式的困扰,为了解决这个编码方式的问题,首先是要获取网页的编码方式,下面就获取网页的编码方式重点说一下三种方法。
一, 使用urllib模块的getparam方法
>import urllib
>fopen1 = urllib.urlopen('http://www.baidu.com').info()
>print fopen1.getparam('charset')# baidu
二, 使用chardet模块
>import chardet
>import urllib
>#先获取网页内容
>data1 = urllib.urlopen('http://www.baidu.com').read()
>#用chardet进行内容分析
>chardit1 = chardet.detect(data1)
>print chardit1['encoding'] # baidu
三, 利用BeautifulSoup模块方法
>from bs4 import BeautifulSoup
>import urllib2
>content=urllib2.urlopen(url)#这里url是你需要获取的网页
>soup=BeautifulSoup(content)
>print soup.original_encoding #这里的输出就是网页的编码方式