在知乎上看过很多爬虫相关，一直没有动手，现在开始get my hand dirty.
本篇在学习知乎大神xzld的Web crawler with Python - 03.豆瓣电影TOP250基础上，简单爬取了糗百上的笑话。
结果.png
任务目标
利用python爬取糗事百科上的笑话。
任务理解
在做任何爬虫之前，我们首先需要了解一下想要爬取的对象
- 打开：用火狐浏览器打开糗事百科,打开开发者工具(F12)
- 查看 ：选中任意一条笑话，鼠标右键后点击查看，我们就可以看到该条笑话在HTML中位于的位置
- 观察 ：仔细观察其标签，因为之后我们将根据其标签来定位。
通过观察我们发现，笑话内容位于<div class=content>的<span>标签下。
那么我们的任务即转变为：
在糗事百科的HTML中找到<.div class=content>的<span>标签的文本内容。
因此，我们将任务即可分为三部分：
- 下载：将糗事百科页面的HTML内容下载下来，这部分我们将使用requests包
- 解析：根据标签查找到文本内容并存储，这部分使用BeautifulSoup包。
- 输出：将文本内容格式化输出，这部分我们将使用codecs包。
任务进行
环境准备
import warnings
warnings.filterwarnings('ignore')
import requests
from bs4 import BeautifulSoup
import codecs
引入requests，BeautifulSoup，codecs及warnings包。warnings包主要用来忽略编码过程中的警告提示，我常喜欢把它写在编码前
下载页面
我们使用requests中的get方法来获取页面，
URL="https://www.qiushibaike.com/"
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'}
html=requests.get(URL,headers=header).content
简单介绍代码内容
- 第一行代码指定网页
- 第二行代码指定请求头User-Agent（表示浏览器类型），用来将爬虫伪装成浏览器。
- 第三行利用requests.get（）.content 获取指定网页源代码。
注意reuqests.get(URL,headers=header)中headers不能省略
一般，浏览器在向服务器发送请求的时候，会有一个请求头——User-Agent，它用来标识浏览器的类型.当我们使用requests来发送请求的时候，默认的User-Agent是python-requests/2.8.1（后面的数字可能不同，表示版本号）,通常我们需要要将User-Agent伪装成浏览器的，来解决某些网页反爬虫的问题。这是一种简单的反爬虫机制
解析页面
通过上部我们的得到网页源代码，但是看起来非常的乱，毫无头绪，就像一锅东北乱炖。然后通过BeautifulSoup，包如其名，总能把乱糟糟的菜熬成很漂亮的一锅汤，让你很方便的找到需要的内容。
- 熬汤：通过BeautifulSoup命令间html内容转换为beautifulsoup格式
soup=BeautifulSoup(html)
如上图，BeautifulSoup将源代码很好的处理为了标签加内容的格式，非常利于我们来查找内容。
- 找菜：汤熬好，就可以根据我们给出的标签来找菜了
joks=soup.find_all('div',attrs={'class':'content'})
jok_list=[]
for joks in jokss:
jok=joks.find('span').getText()
jok_list.append(jok)
- 第一行利用find_all找到所有标签为<div class=content>内容
图片.png - 第二行创建一个空列表jok_list，用来存储之后找到的笑话
- 第三行建立一个循环，利用find依次查找每一个<div class=content>中的<span>标签并获取其中的文本内容，利用append函数存储到jok_list中
- 加菜：当然我们注意到，糗百涉及到翻页。我们还需要解决翻页的问题，这个问题最简单的方法就是找到下一页的链接，再重复之前的步骤即可。
next_page=soup.find('ul',{'class':'pagination'}).find_all('a')[-1]['href']
next_page=URL[:-1]+next_page
点击下一页，查看元素。我们发现下一页的链接再<ul,class=pagination>的最后一个标签<'a'>下。因为使用find只能返回匹配的第一个对象，因此这里我们使用find_all找到所有匹配对象的列表。再通过soup.find('ul',{'class':'pagination'}).find_all('a')[-1]定位到最后一个对象，即包含下一页信息的对象.
注意
以第一页为例得到的结果为* '/8hr/page/2/' ,需要与 URL='https://www.qiushibaike.com/'拼接。但是如果直接连在一起得到结果为
'https://www.qiushibaike.com//8hr/page/2’多了一条‘/’因此，使用URL[-1]+next_page才能得到正确的链接。 'https://www.qiushibaike.com/8hr/page/2’ *
存储
codecs.open('joks','wb',encoding='utf-8') as fp:
fp.write(u'{jok_list}\n'.format(jok_list='\n'.join(jok_llist)))
任务总结
import requests
from bs4 import BeautifulSoup
import warnings
import codecs
warnings.filterwarnings('ignore')
def download_page(url):
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'}
html=requests.get(URL,headers=header).content
return html
def parsel_html(html):
soup=BeautifulSoup(html)
joks=soup.find_all('div',{'class':'content'})
jok_list=[]
for joks in jokss:
jok=joks.find('span').getText()
jok_list.append(jok)
next_page=soup.find('ul',{'class':'pagination'}).find_all('a')[-1]['href']
if next_page:
return jok_list,URL[:-1]+next_page
return jok_list,None
def main():
URL="https://www.qiushibaike.com/"
with codecs.open('joks','wb',encoding='utf-8') as fp:
while URL:
HTML=download_page(URL)
JOK,URL=parsel_html(HTML)
fp.write(u'{JOK}\n'.format(JOK='\n'.join(JOK)))
if __name__ == '__main__':
main()
