课程准备工作

虚拟机—Vmware/Virtualbox _ ubuntu操作系统

开发：windows系统进行开发

ubuntu操作系统运行爬虫程序

技术准备：

PYTHON面相对象的程序设计开发

HTML网页(设计)开发

CSS了解即可

JavaScript熟悉

其他需要掌握的爬虫技术

所有编程语言都是相通的！

主要内容

爬虫概述：了解什么是爬虫

爬虫优势：知道爬虫用在什么地方

爬虫实现方式：了解实现爬虫用到的各种技术

爬虫的分类：了解爬虫工作相关的一些(不同爬虫)区别

第一个操作程序：采集新浪社区新闻首页数据

爬虫请求操作：伪造请求[技术实现]

爬虫请求操作：模仿用户行为[社会工程学]

爬虫请求操作：请求隐藏[代理]

课程内容

软件安装

python2.7开发环境

pycharm开发工具

虚拟环境：virtualenv

每个项目一个独立的虚拟环境

方便项目部署时收集开发环境中的模块：pip freeze>pkg.list

什么是爬虫[爬虫概述]

爬虫：Spider

爬虫-> 蚂蚁下载软件 | 迅雷下载| ..

小脚本程序，从网络上采集要下载的数据的资源->完成高速下载

爬虫-> 度娘、谷哥..搜索引擎

搜索引擎-> 采集数据的程序-> 从网络上搜索数据提供给搜索引擎使用

百度-> 关键词-> 包含该关键词的所有网页

公司|企业数据进行深度分析-> 数据挖掘-> 大数据-> 大量的数据处理

大量的数据从哪里来？

数据的重要性

软件：用来解决生活中的问题！

解决生活中的问题，核心思想？

核心：处理数据！

操作：增删改查[CRUD]

数据从哪里来？

数据：都是从生活中来的！

生活中的数据，怎么到自己需要的地方[数据库]

手工采集:可以采集数据，但是操作效率低下

内部数据:公司内部数据，权限范围内尽情使用！：数据有限、较强的针对性

数据交易:数据采集迅速、费用较高；-- 数据不能定制化！

爬虫采集:定向数据采集；成本较高、数据定制化很强、数据针对性很强

搜索引擎：不是我们的重点！

定向爬虫：我们工作的重点！-- 开启了保护和反保护的斗争

爬虫[采集数据]和反爬虫[防止恶意采集数据]

2. 爬虫的采集方式——分类

通用爬虫：一般用在搜索引擎中：针对所有数据进行广泛采集[广度]

搜索引擎作为爬虫~必须遵守爬虫采集数据的约定协议

民间组织约定的爬虫采集数据协议：ROBOT协议

爬虫：好的一面~可以将自己的网站让更多的人通过搜索引擎访问~网络流量分流

ROBOT协议：是一种约定的规范；针对通用爬虫进行的数据采集限制

聚焦爬虫：也成为定向爬虫，针对目标数据进行定向数据采集[深度]

每个数据采集任务，都可能要开发一套新的项目 ：程序开发密集度

数据采集定向采集[在不违反中华人民共和国宪法的前提下]可以针对任何数据进行采集（一般正规的公司安排的数据采集任务基本都是合法的->公司承担责任）：数据定向性

技能要求：上手快，入门简单，对数据的分析要求较高！

工作的重点：聚焦爬虫；工作的核心：采集数据；

PS：爬虫~是通过程序的方式，自动采集数据；程序操作比自然人的操作效率高出很多很多倍；所以如果一旦通过无限制的爬虫对网站发起请求，[爬虫的频繁请求让服务器资源迅速消耗，最终导致服务器内存不存或者其他后果！]，网站很容易DDOS

DDOS[拒绝服务攻击]

3. 关于历史数据的处理

百度搜索-> 爬虫采集了网络中的大部分网站的数据-> 其他人通过搜索网站，可以直接在搜索页面中进入指定的网站

PS：某个网站进行了更新，百度以前搜索到的页面数据变化了！数据不一致~

百度爬虫对原来采集过的数据要实时进行更新

增量爬虫：需要实时对历史采集数据进行更新[历史数据会发生变化]

股票数据采集-> 采集了过去10年每一个交易日的股票历史数据，方便对未来的数据进行分析处理

PS：需要对历史数据进行更新吗？

累积爬虫：历史数据不会发生变化，一旦数据执行完成，数据就是固定的

程序开发：第一个爬虫程序

开发环境：python2.7

开发工具：pycharm

python2和python3区别

编码：Python2使用的是ascii编码；python3使用的是unicode编码

UTF-8 -> unicode trasfer format 8bit 主持中文

ascii -> 不支持中文-> ANSI->扩展ANSI->..

表示英文->1个字符->2个字节->16位

表示汉字->2个字符->4个字节->32位->国家标准编码GB2312->GBK->GB18030

英文-中文，编码方式可能不同，就会造成乱码的问题！

解决乱码的问题-> 不论什么字符->转换成字节->按照指定的编码转换成字符

开始开发：

python2使用的是ascii编码，所以源代码文件都不支持中文

源代码代码中第一行的位置，添加支持中文的注释

# -*- coding:utf-8 -*-

# coding:utf-8

# ..

为什么要使用python2

python主要的版本1.x，2.x，3.x

目前web市场主流版本:3.x[网站开发-文本字符数据的交互，配合二进制文件的处理，更多的会使用到的比较通用的unicode字符]

爬虫工作主流版本:2.x[都是从网络上采集数据，采集的数据文本数据、二进制数据，为了方便并且统一的进行采集数据的处理，使用python2操作更加灵活]Python2在爬虫方向支持的第三方模块更多！

程序开发

采集到新浪网网页数据

有用？采集首页中各个模块的链接地址和名称，方便进行该模块二次数据采集

没用？其他数据~不需要

采集网页的源代码，为什么要用爬虫程序？鼠标右键查看源代码可以完成！

为什么要用爬虫{爬虫的优势？！}

有那么多的工具[迅雷、旋风、百度云、整站下载工具等等]，为什么要用爬虫！

最近上映了妇联3->要看这部电影，怎么办？--下载工具

最近要看一本小说->[阴阳师]-> 怎么办？--搜索引擎-搜索资源-下载工具

要获取某个网站上的大部分电商商品[名称、价格、描述]->怎么办-爬虫程序自动采集

要获取多个新闻网站上，最近1个月的所有新闻数据[标题、发布时间、编辑人、内容]->怎么办——爬虫程序自动采集

爬虫程序—发送请求给服务器，获取服务器的数据

爬虫程序~发送的请求什么样的？Spider Request

浏览器程序~发送的请求什么样的？Browser Request

这两个请求，有什么区别？

了解清楚有什么区别~才能掌握好爬虫程序的请求[伪装浏览器请求]

(1) 抓包工具

网络上流行的抓包工具有很多，wareshark、burpsuits、fiddler、F12窗口

浏览器发送的请求：F12窗口，直接查看请求信息

程序发送的请求：怎么看PYTHON爬虫程序发起请求的信息

了解请求程序发送请求和浏览器发送请求的区别：才能更加完美的伪造请求

(2) 请求伪造

请求对象：获取一个请求对象，通过请求对象设置用户代理[User-agent]请求头

    请求头中的K=V数据：K键值~单词首字母必须大写

请求对象：urllib2.Request对象

通过对urllib2.Request对象的设置，完成请求的伪造操作

隐藏用户：使用代理IP进行请求操作

正向代理：代理客户端发起请求，向服务器请求数据；隐藏客户端信息

反向代理：代理的服务端；隐藏真实服务器信息

都有什么样的代理：免费代理、收费代理-- [透明代理|匿名代理|高匿代理]

python爬虫中，怎么使用这些代理

默认情况下，urllib2爬虫程序直接通过urlopen()发送请求!

查询对应的资料[官网资料|总结的资料|国外资料]

查看底层代码，模仿还原

1.爬虫的理论知识

a)什么是爬虫？

b) 爬虫的分类

i. 通用爬虫VS 聚焦爬虫

ii. 累积爬虫VS 增量爬虫

c) 爬虫的实现

i.Java|Python|PHP|C++|C#|Ruby|Delphi|..

ii. python：更加专业

iii. urllib2基础->requests->scrapy->分布式

2.爬虫的操作

a) urllib2底层数据采集urlopen()函数

b) 伪造请求：伪装浏览器请求

i. 请求对象：请求头数据、请求体数据、请求方式..

ii. 请求头中的User-agent设置，完成浏览器请求的伪装

iii. 请求对象：urllib2.Reuqest对象

c) 模仿用户行为：只有在特殊的情况下才会使用

i. 随机休眠严重影响爬虫采集数据的效率

d) 隐藏客户端：使用IP代理，代理真实客户端完成对服务器数据的访问

i.免费代理|收费代理

ii.正向代理[代购]|反向代理[代理商]

iii. urlopen底层操作

1. 操作对象:urllib2.ProxyHandler({..})

2. 开锁对象:urllib2.build_opener(handler)

3. 发送请求:res = opener.open(url)！

b)采集百度图片[越多越好！