0 前言
最近看完Python基本知识与正则表达式，尝试写下爬虫，发现不知怎么入手，就上网查了下，看到了一片文章，感觉还不错，根据上面的代码尝试写了下，虽然是别人的代码（代码并不是完全可以运行，有点问题），自己敲一遍也算练习了下，中间也尝试改动了一些。
参考文章：（http://www.jianshu.com/p/384bfb49cdd6）
1 功能与实现
1.1 功能：
爬取一个网站（ url = 'http://jandan.net/ooxx/'，爬完发现是个***网站）的图片，实现多页爬取，把爬取的图片按照1，2，3...编号
1.2 代码实现
首先贴出主程序：
def main():
if not os.path.exists('folder'):#判断是否存在‘folder’文件夹
os.mkdir('folder') #不存在则建立
os.chdir('folder') #改变工作目录
pages = 3 #选择爬取页数，也可以用imput，在程序运行时输入
url = 'http://jandan.net/ooxx/'
page_num = int(get_page(url)) #通过get_page(url)函数得到初始页码，便于爬取其他页码
num = 0 # num是图片编码，在save_imgs函数中用到
for i in range(pages): #逐一爬取每个网页
page_num -= i #改变页码，选择上一网页
page_url = url + 'page-' + str(page_num) + '#comments' #获取该网页的URL
img_addrs = find_images(page_url) #获取该网页所有图片地址
save_imgs(num, img_addrs) #保存图片
num += len(img_addrs) #num作为图片编码，每次加上本次网页的图片数
if __name__ == '__main__':
main()
接下来，逐一写出子函数
首先写出常用获取页面内容的函数（获取 text）,可作为常用函数
#获取URL返回网页的text，图片的信息存在content中
def getHTMLText(url):
try:
r = requests.get(url) #request get命令
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
获取首页页码值
def get_page(url):
html = getHTMLText(url) #获取网页内容
page = re.search(r'page-[0-9]{3}#', html).group() #找出含有本页网址的那一段字符串
page_number = re.search(r'[0-9]{3}', page).group() #从这一段字符串提取出页码
return page_number #返回页码
获取网页的所有图片地址
def find_images(url):
html = getHTMLText(url) #获取网页内容
img_src1 = []
img_src0 = re.findall(r'<img\ssrc=\".*?(?:\.jpg|\.png|\.gif)', html) #获取该页面所有包含图片源地址的字符串
for img_src in img_src0:
img_src1.append(img_src[10:]) #获取该页面所有图片地址
return img_src1
保存图片
def save_imgs(num, img_addrs):
for img_addr in img_addrs: #图片网址循环
num += 1 #每次加1 实现编码
filename = str(num) + '.' + img_addr.split('.')[-1] #图片名称，img_addr.split('.')[-1]是用于获取jpg，png，gif等格式，例如，名称为1.jpg
img = requests.get('http:{}'.format(img_addr)).content #获取图片网址的内容，以二进制内容保存图片内容
with open(filename, 'wb') as f:
f.write(img)
3 问题：
编写过程中，存在一个问题
正则表达式，r'<img\ssrc=\".*?(?:\.jpg|\.png|\.gif)'可以实现获取源地址，若去掉?:改为r'<img\ssrc=\".*?(\.jpg|\.png|\.gif)'，则获取的字符串是.jpg，不包含源地址
4 总结
- 开始时，学习别人的代码，自己尝试修改，可以尽快熟悉
- 入门后，尽快多写代码，爬不同的网站
- 有时候，一个小错误，查找了半天，编程要仔细
- 待续。。。。。。。。。。。。。。。。。。。。
