主要模块
#1 简易爬虫.jpg
主要由这几部分组成：
- 爬虫调度端（spider_main）： 对爬虫流程进行控制
- url管理器(url_manager)： 对要爬取的url进行管理
- 网页下载器(download_manager)： 对希望爬取的网页进行下载
- 网页解析器(html_parser)： 对下载好的网页进行解析，如果需要对网页中的其它链接进行下载，则将解析好的url添加到url管理器中
- 循环上面步骤，然后将有价值的信息存储下来
整个流程
#2 流程图.jpg
看上面的流程图：
- 调度器询问URL管理器，是否有待爬的url?
- 如果得到肯定回复，则将获取的url添加到URL管理器中
- URL管理器将待爬的数据返给调度器，调度器调用下载器进行URL内容下载
- 然后调度器将下载好的内容交给解析器进行解析， 收集有用数据
URL调度器
#3 URL管理器.jpg
URL管理器的主要原理就是：将已经爬取的或待爬取的分成2类，避免重复循环爬取
#4 URL管理器实现方式.jpg
其实现方式有3种：
- 小的应用使用内存，使用
set数据结构存储 - 也可以使用数据库对urls进行存储查询
- 使用redis,一般用于比较大的爬虫操作
网页下载器
#5 网页下载器.jpg
网页下载器可以使用python内置的 urllib.request 中的 urlopen 方法
另外下载网页时可能遇到的问题：
- 需要模拟头信息
- 需要登录之后才能查看网页的情况
- 权限限制
- 网页是异步加载的，所以直接去下载得不到内容
from urllib.request import urlopen
from urllib import request
import http.cookiejar
url = 'http://www.imooc.com/video/10683'
print('第1种方法')
response1 = urlopen(url)
print(response1.getcode()) # 获取状态码
print(len(response1.read()))
print('第2种方法, 添加请求头信息')
req = request.Request(url)
req.add_header('user-agent', 'Mozilla/5.0') # 添加头信息
response2 = urlopen(req)
print(response2.getcode())
print(len(response2.read()))
print('第3种方法， 添加cookie')
cj = http.cookiejar.CookieJar()
opener = request.build_opener(request.HTTPCookieProcessor(cj))
request.install_opener(opener)
response3 = urlopen(url)
print(response3.getcode())
print(cj)
print(response3.read())
网页解析器
对网页进行解析，有4种方式:
- 使用正则表达式进行模糊匹配，用的很少
- 使用内置的
html.parser - 使用内置的
Ixml - 使用第3方的插件，比如
BeautifulSoup, 这个插件实现了上面的多种方式
BeautifulSoup的基本操作
from bs4 import BeautifulSoup
import re
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><small>Elsie</small></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
# 定义一个soup, 3个参数分别为
# 解析的字符串
# 使用的解析器， 还可以使用'Ixml'
# 使用的编码格式
soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8')
print('----获取所有的a标签----')
links_nodes = soup.find_all('a')
for link in links_nodes:
print(link.name, link['href'], link.get_text()) # name表示标签名 get_text()表示内部文字
print('----获取lacie的a标签----')
link_node = soup.find('a', href="http://example.com/lacie")
print(link_node.name, link_node['href'], link_node.get_text())
print('----使用正则获取a标签href中包含"ill"的----')
link_spec = soup.find('a', href=re.compile(r'ill'))
print(link_spec.name, link_spec['href'], link_spec.get_text())
print('----获取class为title的p元素----')
p_nodes = soup.find_all('p', class_='title') # 因为class是关键词，所以这里使用'class_'
# 还可以使用dict的形式
# p_nodes = soup.find_all('p', {'class': 'title'})
for p in p_nodes:
print(p.name, p.get_text())
抓取策略
这个其实是整个业务的核心
- 你要明白你要抓取的内容是什么
- 入口页面是什么
- 抓取数据的规律
- 对抓取数据希望是如何进行处理
#6 抓取策略.jpg
github地址
本文章来自慕课网Python开发简单爬虫的学习笔记, 原教程采用的python版本是2.7，我自己实现的是使用v3.6版本，2者之间差异不大
github 地址：
