爬虫实战第二天
任务
爬取TaylorSift动态加载网页中前20页的图片，并保存到本地。
成果
源码
import requests
import re
import time
from bs4 import BeautifulSoup
from urllib.request import urlretrieve
x = 1
url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page={}&before=278006022'
def get_pictures(page):
# global要在函数内部进行声明
global x
wb_data = requests.get(page)
soup = BeautifulSoup(wb_data.text, 'lxml')
pic_urls = soup.select('body > div > div > div > a > img')
for pic_url in pic_urls:
# 缩略图链接换成大图链接，并保存到本地
urlretrieve(re.sub('superthumb.jpg', 'large.jpg', pic_url['src']), 'TaylorSwift/%s.jpg' % x)
x += 1
def get_more_pages(start, end):
for one in range(start, end):
get_pictures(url.format(str(one)))
time.sleep(1)
get_more_pages(1, 21)
小结
- http://weheartit.com/inspirations/taylorswift? scrolling=true&page=1&before=278006022 链接中page=1 后面的参数对网页爬取影响不大。
- 利用time.sleep()函数进行反反爬取。
