一、爬虫的简介
爬虫：一段自动抓取互联网信息的程序。
价值：互联网数据，为我所用。
二、简单的爬虫架构
爬虫调度端——> URL管理器——>网页下载器——>网页分析器——>价值数据
三、URL管理器
管理待抓取的URL集合和已经抓取URL集合。防止重复抓取、循环抓取。
实现方式：1、内存中（set()）2、关系数据库（MySQL）3、缓存数据库（redis）
四、网页下载器（urllib2）
将互联网上的URL对应的网页下载到本地的工具
网页下载器的类型：
python官方基础模块：urllib2
1、使用方法：
import urllib2
#直接请求
response = urllib2.urlopen('http://www.baidu.com')
#获取状态码，如果是200表示成功
print response.getcode()
#读取内容
cont = response.read()
第三方包更强大：requests
五、网页解析器（BeautifulSoup）
正则表达式 html.parser <----- BeautifulSoup -------> lxml
Beautiful Soup :python第三方库，用于从HTML或者xml中提取数据。
安装并测试：
安装：pip install beautifulsoup4
测试：import bs4
D`V0~4R%3KNUAOXTV~1PZSD.png
BeautifulSoup的语法：
1、创建BeautifulSoup对象
from bs4 import BeautifulSoup
#根据html网页字符串创建对象
soup = BeautifulSoup(
html_doc,'html.parser',from_encoding = 'utf8'
)
#三个参数分别是：文档字符串 解析器 文档编码
2、搜索节点（find_all,find）
···
方法：find_all(name,attrs)
查找所有为a的节点
soup.find_all('a')
查找所有为a，链接符合/view/123.html形式的节点
soup.find_all('a',href = '/view/123.html')
或者利用正则
soup.find_all('a',href = re.compile(r'/view/\d+.html'))
查找所有标签为div，class 为 abc ，文字为python的节点
soup.find_all('div',class_ = 'abc',string = 'python')
···
3、访问节点信息
#得到节点：<a href = '1.html'>Python</a>
#获取查找到的节点的标签名称
node.name
#获取节点的href属性
node['href']
#获取查找到的节点a的链接文字
node.get_text()
六、完整实例：爬取百度百科Python词条相关额1000个页面数据
