在大数据时代作为数据的源头,python网络爬虫,数据采集的利器
本文介绍的是python爬虫图片的获取,
家可以加一下python技术交流裙、适合初学者和进阶的同行业交流
![里面又相关的python入门学习资料及进阶实战视频文档]点击链接加入群聊【Python技术交流】
好了下面开始撸代码走你
import json
import urllib
三个参数,你要获取整个图片集的名字,你要获取多少张,获取过来的放在哪里
def getSogoulmag(category,length,path):
n=length
cate=category
获取的是图片所有信息
imgs=requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=’+cate+
‘&tag=%E5%85%A8%E9%83%A8&start=0&len=’+str(n))
转换成为json格式
jd=json.loads(imgs.text)
all_items所有的图片
jd=jd[‘all_items’]
imgs_t=[]
for j in jd:
通过定位bthumbUrl获取图片
imgs_t.append(j[‘bthumbUrl’])
m=0
for img in imgs_t:
打印某一张图片正在下载
print(str(m)+’.jpg’+‘Downlod…’)
用来把远程数据下载到本地
urllib.request.urlretrieve(img,path+str(m)+’.jpg’)
m=m+1
print(‘Complete!’)
调用整个处理逻辑
getSogoulmag(‘壁纸’,100,‘E:/download/’)
如大家没有看懂的可以看之前在腾讯课堂直播上的录播视频,有兴趣的可以进去免费报名看一下,每天晚上都有免费直播分享、