实战计划0430-石头的练习作业
练习的要求
练习要求
效果如下：
抓取的图片
实现代码：
__author__ = 'daijielei'
#requests用于抓取html页面，BeautifulSoup用于html页面的处理，urllib.request用于将图片的url连接保存到本地
from bs4 import BeautifulSoup
import requests
import time
import urllib.request
#header这边并不实际需要
#url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page='
header = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36'
}
#saveImgFromUrl将图片从URL上保存到本地
def saveImgFromUrl(url):
filename = "image/"+str(url).replace("http://data.whicdn.com/","").replace("/","")#URL地址格式高度相似，故而用这种简单方式
urllib.request.urlretrieve(url,filename)#该函数提供URL和本地地址即可保存
print("save:"+filename+" from:"+url)
#getPageInfo用于根据从动态加载的页面中获取图片的地址信息
#测试用url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page=1'
def getPageInfo(url):
webData = requests.get(url,headers = header)
soup = BeautifulSoup(webData.text,'lxml')
imgs = soup.select('a > img[class="entry_thumbnail"]')
time.sleep(2)
for img in imgs:
imgUrl = img.get('src')
saveImgFromUrl(imgUrl)
#getPageFromNum在指定页码范围调用getPageInfo抓取图片信息
def getPageFromNum(start=0,end=5):
url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page='
for i in range(start,end):
getPageInfo(url+str(i))
#入口
if __name__ == '__main__':
getPageFromNum(0,1)
思考、笔记、总结：
1、实现的总体思路比较简单，三步走，分了三个函数去实现
1、获取页码范围内的信息
def getPageFromNum(start=0,end=5):
2、从对应的url里提取图像的地址
def getPageInfo(url):
3、从图片url的地址提取图片并保存到本地
def saveImgFromUrl(url):
2、和之前的课程相比，这个练习有不同的地方就是需要将图片从地址上抓取下来，其实实现并不难，有几个小地方要注意一下
a、用的是urllib.request.urlretrieve来下载文件，第一个参数是要下载的图像的url，第二个参数是保存到本地的路径
b、因为urlhttp://data.whicdn.com/images/238487192/superthumb.jpg的最后的文件名都是相同的，所以不能有split分出最后一个来作为文件名，故而做了些简单操作来转换保存的文件名
def saveImgFromUrl(url):
filename = "image/"+str(url).replace("http://data.whicdn.com/","").replace("/","")#URL地址格式高度相似，故而用这种简单方式
urllib.request.urlretrieve(url,filename)#该函数提供URL和本地地址即可保存
print("save:"+filename+" from:"+url)
