Python 网络编程之三：爬取图片

爬取五张图片并保存

一、同步爬取

# File Name: spider_sync.py

import time
import socket
from urllib.parse import urlparse

HOST = 'localhost'
PORT = 8000

# 需要爬取图片的地址列表
urls = ['https://dn-simplecloud.shiyanlou.com/ncn1.jpg',
        'https://dn-simplecloud.shiyanlou.com/ncn110.jpg',
        'https://dn-simplecloud.shiyanlou.com/ncn109.jpg',
        'https://dn-simplecloud.shiyanlou.com/1548126810319.png',
        'https://dn-simplecloud.shiyanlou.com/1517282865454.png'
]


# 定义一个爬虫类
class Crawler:
    def __init__(self, url):
        self.url = url
        self.sock = None
        self.response = b''

    def fetch(self):
        # urlparse 方法用来处理 URL ，其返回值便于获得域名和路径
        url = urlparse(self.url)
        # 创建 socket 实例
        self.sock = socket.socket()
        # 该方法阻塞运行，直到成功连接服务器，Web 服务器端口通常为 80
        self.sock.connect((url.netloc, 80))
        print('连接成功')
        # 向服务器发送数据的固定格式
        data = 'GET {} HTTP/1.1\r\nHost: {}\r\n\r\n'.format(
            url.path, url.netloc)
        # 向服务器发送数据，阻塞运行
        self.sock.send(data.encode())
        # 接收服务器返回的数据，阻塞运行
        while True:
            # 每次接收 10K 数据
            d = self.sock.recv(1024)
            if d:
                self.response += d
            else:
                break
        print('接收数据成功')
        # 第一个参数为文件名，注意 url.path 的值的第一个字符为斜杠，须去掉
        # 从服务器接收到的数据为二进制，其中第一部分为报头，第二部分为图片数据
        # 两部分之间使用 \r\n\r\n 隔开，选择第二部分存入文件
        with open(url.path[1:], 'wb') as f:
            f.write(self.response.split(b'\r\n\r\n')[1])
        print('保存文件成功')
        self.sock.close()

def main():
    start = time.time()
    for url in urls:
        # 创建爬虫实例
        crawler = Crawler(url)
        # 开始爬取数据
        crawler.fetch()
    print('耗时：{:.2f}s'.format(time.time() - start))

if __name__ == '__main__':
    main()

运行耗时约 150 秒

二、多线程爬取

import time
import threading
import socket
from urllib.parse import urlparse

HOST = 'localhost'
PORT = 8000

# 需要爬取图片的地址列表
urls = ['https://dn-simplecloud.shiyanlou.com/ncn1.jpg',
        'https://dn-simplecloud.shiyanlou.com/ncn110.jpg',
        'https://dn-simplecloud.shiyanlou.com/ncn109.jpg',
        'https://dn-simplecloud.shiyanlou.com/1548126810319.png',
        'https://dn-simplecloud.shiyanlou.com/1517282865454.png'
]


# 定义一个爬虫类
class Crawler(threading.Thread):
    def __init__(self, url):
        threading.Thread.__init__(self)
        self.url = url
        self.sock = None
        self.response = b''

    def run(self):
        # urlparse 方法用来处理 URL ，其返回值便于获得域名和路径
        url = urlparse(self.url)
        # 创建 socket 实例
        self.sock = socket.socket()
        # 该方法阻塞运行，直到成功连接服务器，Web 服务器端口通常为 80
        self.sock.connect((url.netloc, 80))
        print('连接成功')
        # 向服务器发送数据的固定格式
        data = 'GET {} HTTP/1.1\r\nHost: {}\r\n\r\n'.format(
            url.path, url.netloc)
        # 向服务器发送数据，阻塞运行
        self.sock.send(data.encode())
        # 接收服务器返回的数据，阻塞运行
        while True:
            # 每次接收 1K 数据
            d = self.sock.recv(1024)
            if d:
                self.response += d
            else:
                break
        print('接收数据成功')
        # 第一个参数为文件名，注意 url.path 的值的第一个字符为斜杠，须去掉
        # 从服务器接收到的数据为二进制，其中第一部分为报头，第二部分为图片数据
        # 两部分之间使用 \r\n\r\n 隔开，选择第二部分存入文件
        with open(url.path[1:], 'wb') as f:
            f.write(self.response.split(b'\r\n\r\n')[1])
        print('保存文件成功')
        self.sock.close()

def main():
    start = time.time()
    crawler_list = []
    for url in urls:
        # 创建爬虫实例
        crawler = Crawler(url)
        crawler_list.append(crawler)
        # 开始爬取数据
        crawler.start()
    for crawler in crawler_list:
        crawler.join()
    print('耗时：{:.2f}s'.format(time.time() - start))

if __name__ == '__main__':
    main()

运行耗时约 30 秒

三、selectors 事件循环 + 回调函数

import time
import socket
from urllib.parse import urlparse
# selectors 是对 select 的封装，它会根据不同的操作系统自动选择适合的系统调用
# DefaultSelector 类的实例是系统调用，类似 select、poll、epoll
# EVENT_READ 和 EVENT_WRITE 是事件常数，值为 1 和 2
from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE

selector = DefaultSelector()
# 需要爬取图片的地址列表
urls = ['https://dn-simplecloud.shiyanlou.com/ncn1.jpg',
        'https://dn-simplecloud.shiyanlou.com/ncn110.jpg',
        'https://dn-simplecloud.shiyanlou.com/ncn109.jpg',
        'https://dn-simplecloud.shiyanlou.com/1548126810319.png',
        'https://dn-simplecloud.shiyanlou.com/1517282865454.png'
]


# 该类用来模拟发送「协助事件循环停止运行」的信号
class Signal:
    def __init__(self):
        self.stop = False


signal = Signal()


# 定义一个爬虫类
class Crawler:
    def __init__(self, url):
        # urlparse 方法用来处理 URL ，其返回值便于获得域名和路径
        self.url = urlparse(url)
        self._url = url
        self.response = b''

    def fetch(self):
        # 创建 socket 实例
        self.sock = socket.socket()
        # 将客户端套接字设置为非阻塞模式
        self.sock.setblocking(False)
        try:
            # 连接需要时间，非阻塞模式下这里会报出 BlockingIOError 异常
            self.sock.connect((self.url.netloc, 80))
        except BlockingIOError:
            pass
        # 向 selector 这个系统调用中注册套接字的可写事件
        # 参数为套接字的文件描述符、事件常数、回调函数
        # 当连接服务器成功后，可写事件会立即就绪，然后自动执行对应的回调函数
        # 注意回调函数的执行不是由操作系统决定的，而是由 selector 内部控制
        selector.register(self.sock.fileno(), EVENT_WRITE, self.writable)

    # 套接字可写事件就绪后，自动运行此回调函数
    # 所有回调函数的参数都是固定的：SelectorKey 实例，事件常数（选填）
    def writable(self, key):
        # 可写事件就绪后，这个事件就不需要再监听了，注销此事件
        # 不注销的话，selector 就一直提醒事件已就绪
        # SelectorKey 实例的 fd 属性值为对应的套接字的文件描述符
        selector.unregister(key.fd)
        print('连接成功', key.fd)
        # 向服务器发送数据，这是网页请求的固定格式
        data = 'GET {} HTTP/1.1\r\nHost: {}\r\n\r\n'.format(
            self.url.path, self.url.netloc)
        self.sock.send(data.encode())
        print('发送数据成功', key.fd)
        # 接收数据后，监视套接字的可读事件并设置回调函数
        # 在套接字的可读事件就绪后，自动运行回调函数
        selector.register(self.sock.fileno(), EVENT_READ, self.readable)

    # 套接字可读事件就绪后，自动运行此回调函数
    # 可读事件就绪，并不代表内核空间已经接收完全部数据
    def readable(self, key):
        print('接收数据', key.fd)
        # 接收服务器返回的数据，注意这步是从内核空间复制数据到用户空间
        # 每次最多接收 100K 数据，如果数据量比较大，该回调函数会运行多次
        # 只要内存空间里有数据，相关套接字的可读事件就会就绪
        # 所以每次 recv 方法收到的数据很可能不足 100k
        d = self.sock.recv(102400)
        if d:
            self.response += d
        else:
            # 可读事件一直被监听，直到接收数据为空，接收完毕
            # 就不需要再监听此事件了，注销它
            selector.unregister(key.fd)
            print('接收数据成功', key.fd)
            # 注意第一个参数 self.url.path 的第一个字符为斜杠，须去掉
            # 接收到的数据为二进制，其中第一部分为报头，第二部分为图片数据
            # 两部分之间使用 \r\n\r\n 隔开，选择第二部分存入文件
            with open(self.url.path[1:], 'wb') as f:
                f.write(self.response.split(b'\r\n\r\n')[1])
            print('保存文件成功')
            self.sock.close()
            # 接收数据完毕，从需要爬取的地址列表中删除此地址
            urls.remove(self._url)
            # 如果地址列表为空
            # 修改 signal 的属性值，停止 loop 函数中的 while 循环
            if not urls:
                signal.stop = True


def loop():
    # 事件循环，不停地查询被监听的事件是否就绪
    while not signal.stop:
        print('-------------------')
        # selector.select 方法为非阻塞运行
        # 只是轮询被监听事件，立即返回就绪事件列表
        # 该方法的功能类似于 select().select 方法，具体用法不同
        events = selector.select()
        # 事件列表中每个事件是一个元组，元组里有俩元素
        # 分别是 SelectorKey 对象和事件常数
        print(events)
        for event_key, event_mask in events:
            # SelectorKey 对象的 data 属性值就是回调函数
            callback = event_key.data
            # 运行回调函数
            callback(event_key)


def main():
    start = time.time()
    for url in urls:
        # 创建爬虫实例
        crawler = Crawler(url)
        # 执行此方法后，将创建一个套接字，套接字向服务器发送连接请求后
        # 将套接字的可写事件注册到 selector 中
        crawler.fetch()
    loop()  # 运行事件循环 + 回调函数
    print('耗时：{:.2f}s'.format(time.time() - start))


if __name__ == '__main__':
    main()

运行耗时约 30 秒

总结一下：
阻塞式的实现方式最简单，对于开发来说效率最高，但是性能最差，请求时间最长。使用线程请求时，性能提升很高，实现方式稍微复杂，但是线程消耗资源比较大，在并发量大时，性能也会直线下降。IO 异步请求在一个线程里可以并发请求，性能提升和线程相近，由于避免了线程创建和上下文切换，并发量大时性能也不会有显著下降。在实现方式上是最复杂的，开发效率最低的，代码量增加了很多，对于开发者不利于理解，但执行效率很高，适用于高并发场景
不论哪一种方式，绝大部分耗时都在 IO 上

最后编辑于：2019.07.25 14:17:22

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,053评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,527评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,779评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,685评论 1赞 276
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,699评论 5赞 366
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,609评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,989评论 3赞 396
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,654评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,890评论 1赞 298
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,634评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,716评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,394评论 4赞 319
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,976评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,950评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,191评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 44,849评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,458评论 2赞 342

Python 网络编程之三：爬取图片

一、同步爬取

二、多线程爬取

三、selectors 事件循环 + 回调函数

推荐阅读更多精彩内容