1.反爬虫技术
首先我们来思考一下，为什么要反爬虫？
- 网络中充斥大量爬虫的情况下，会使得整个网络的数据不可靠。
- 网站在面对高并发爬虫的攻击时，很容易被击溃。
- 版权数据被爬取，对于网站来说是巨大的损失。
基于以上原因，反爬虫技术孕育而生，主要包含以下最常用的反爬技术：
- 封IP
后台对访问进行统计，如果单个IP访问超过阈值，则封锁该IP。 - 封UserAgent
后台对访问进行统计，如果单个UserAgent访问超过阈值，则封锁该UserAgent。 - 封Cookie
后台对访问进行统计，如果单个cookies访问超过阈值，则封锁该cookie. - 设置请求时间间隔
设置请求时间间隔，规避过于频繁的请求访问，避免爬虫短时间爬取大量数据。 - robots.txt协议
robots.txt是一个限制爬虫的规范，该文件是用来声明哪些东西不能被爬取； 设置robots.txt协议，位于robots.txt中的UserAgent不可请求网站数据。 - 验证码验证
发生大量请求时，弹出验证码验证，通过验证方可继续访问。 - JavaScript渲染网页
将重要信息放在网页中但不写入html标签中，而浏览器会自动渲染标签中的js代码，将信息展现在浏览器当中，而爬虫是不具备执行js代码的能力，所以无法将js事件产生的信息读取出来。 - ajax异步传输
访问网页的时候服务器将网页框架返回给客户端，在与客户端交互的过程中通过异步ajax技术传输数据包到客户端，呈现在网页上，爬虫直接抓取的话信息为空。 - 网页iframe框架嵌套
在下载框处再内嵌一个窗口，使得爬虫提取不到内层窗口的数据。
2.反反爬虫技术
有反爬虫技术，就会有反反爬虫技术存在，这是两种相互对抗的技术；这两种技术也在相互对抗中不断发展。
我们在编写爬虫时，要对获取海量的免费数据心怀感恩，而不是恶意攻击网站，这是一种害人害己的形为。
常用的反反爬虫技术有以下这些：
- 降低请求频率
对于基于scrapy框架构建的爬虫，在配置文件settings.py中设置DOWN-LAOD_DELAY即可。
以下代码设置下载延迟时间为4秒，即两次请求间隔4秒。
DWONLOAD_DELAY = 4
或设置RANDOMIZE_DOWNLOAD_DELAY，定义一个随机的请求延迟时间。
RANDOMIZE_DOWNLOAD_DELAY = True
-
修改请求头
在这里插入图片描述
- 禁用Cookie
有些网站会通过Cookie来发现爬虫的轨迹，如非特殊需要，禁用Cookie可以切断网站通过Cookie发现爬虫的途径。
对于基于scrapy框架构建的爬虫，在配置文件settings.py中设置COOKIES_ENABLED即可。
#Disable cookies (enabled by default)
COOKIES_ENABLED = False
- 伪装成不同的浏览器
Scrapy自带专门设置User-Agent的中间件UserAgentMiddleware，在爬虫运行中，会自动将User-Agent添加到HTTP请求中，并且可以设置多个浏览器，请求时可以随机添加不同的浏览器。
1.设定浏览器列表。
将浏览器列表定义至settings.py文件中：
MY_USER_AGENT = ["Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NETCLR 1.1.4322; .NET CLR 2.0.50727)", \
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser;SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)", \
"Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; WindowsNT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
]
2.在中间件UserAgentMiddleware中从浏览器列表中随机获取一个浏览器。
#导入UserAgentMiddleware组件模块
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
import random #导入随机模块
from qidian_hot.settings import MY_USER_AGENT #导入浏览器列表
#定义类QidianHotUserAgentMiddleware，用于设置随机设置user-agent
#继承于UserAgentMiddleware
class QidianHotUserAgentMiddleware(UserAgentMiddleware):
#处理Request请求函数
def process_request(self, request, spider):
#使用random模块的choice函数从列表MY_USER_AGENT中随机获取一个浏览器类型
agent = random.choice(list(MY_USER_AGENT))
print("user-agent:", agent)
#将User-Agent附加到Reqeust对象的headers中
request.headers.setdefault('User-Agent', agent)
3.启用中间件UserAgentMiddleware。
# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
'qidian_hot.middlewares.QidianHotDownloaderMiddleware': None,
'qidian_hot.middlewares.QidianHotUserAgentMiddleware': 100,
}
-
使用HTTP代理服务器
HTTP代理服务器功能就是代理网络用户取获取网络信息，它相当于客户端浏览器和网站服务器之间的信息中转站。
在爬虫中采用大量的随机代理服务器访问某个网站，则该网站很难检测出爬虫。
在这里插入图片描述
