爬虫介绍
- 调度器
- URL管理器(用来存储待抓取的链接，已经抓取过的链接)
- 网页下载器(消费URL管理器中待抓取的链接)
- 网页解析器(把抓到的网页进行数据的提取)
URL管理器的实现
- Python的集合,自带去重的功能(下面的采用这个方法)
- MySQL建立一个表，1个字段存储URL，一个字段标记是否抓取过
- redis的集合
网页下载器的实现
- 采用Python的系统自带库urllib2
- 也有其它方法
# coding:utf8
import urllib2
import cookielib
url = "http://www.baidu.com"
print '第一种方法'
response1 = urllib2.urlopen(url)
print response1.getcode()
print len(response1.read())
print '第二种方法'
request = urllib2.Request(url)
request.add_header("user-agent", "Mozilla/5.0")
response2 = urllib2.urlopen(url)
print response2.getcode()
print len(response2.read())
print '第三种方法'
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3 = urllib2.urlopen(url)
print response3.getcode()
print cj
print response3.read()
网页解析器的实现
- 正则表达式(模糊匹配)
- html.parser
- Beautiful Soup(下面采用这种结构化解析方法)
- lxml
Beautiful Soup语法
- 创建对象
- 按照名称/属性/文字来搜索节点(find,find_all)
- 访问节点的名称、属性、文字
# coding:utf8
from bs4 import BeautifulSoup
import re
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8')
print '获取所有的链接'
links = soup.find_all('a')
for link in links:
print link.name, link['href'], link.get_text()
print '获取lacie的链接'
link_node = soup.find('a', href='http://example.com/lacie')
print link_node.name, link_node['href'], link_node.get_text()
print '正则匹配'
link_node = soup.find('a', href=re.compile(r"ill"))
print link_node.name, link_node['href'], link_node.get_text()
print '获取p段落的文字'
p_node = soup.find('p', class_='title')
print p_node.name, p_node['class'], p_node.get_text()
实战
- 确定目标：百度百科Python词条相关词条网页-标题和简介
- 分析目标
- 入口页：http://baike.baidu.com/item/Python
- URL格式(不相关的链接过虑掉)：/item/xxxx
- 数据格式(需要的数据)
- 标题：
<dd class="lemmaWgt-lemmaTitle-title"><h1>xxxxx</h1></dd> - 简介：
<div class="lemma-summary" labelmodule="lemmaSummary">xxxxx</div>
- 标题：
- 网页编码(代码解析器需要指定编码)：utf8
- 编写代码
- 执行爬虫
总结
这只是简单的爬虫，复杂的涉及到登录、验证码、Ajax、服务器防爬虫、多线程、分布式
