1. 开篇
前一阵子看了 Relife 这部七月番动画，短短 13 集很快就看完，深深无法自拔，然后去查了下，发现原来是改编自漫画的，于是立马去找漫画的资源，但是搜来搜去都没有找到资源下载，虽然有 cncomico 可以提供在线看，但是我比较喜欢下载下来放到手机上看（强迫症），于是就想到可以用 Python 抓取图片下载。
2. 开干
2.1. 分析目标网站
在用 Python 真正抓取数据前，肯定是要先分析我们要获取的数据以及目标网站的内容。
-
首先打开我们要抓取的目标漫画的内容页：Relife，然后查看其源代码
源代码 -
通过分析源代码，我们可以看到以下内容：
其中每个链接都代表一话的链接，并且链接的格式都是
http://www.cncomico.com/detail.nhn?titleNo=1&articleNo=%d&vm=tit_als；同时联系到 Relife 的主页
http://www.cncomico.com/articleList.nhn?titleNo=1；因此我们可以得出：每一话的链接为
http://www.cncomico.com/detail.nhn?titleNo=a&articleNo=b&vm=tit_als，其中titleNo=a&articleNo=b里的a代表一幅�漫画的编号（Relife 为 1），b代表漫画的章节。并且可以知道
http://www.cncomico.com/articleList.nhn?titleNo=1的最上面的话的链接即为最新章；-
通过上面我们获取到了每一话的链接，接下来就是到各话的链接去，比如 Relife 136话，同样分析其源代码，我们可以在其源代码中看到以下内容：
上面的链接即为漫画中各张图片的链接，接下来的工作就只需要通过这些链接把图片给下载到本地即可。 通过上面的分析，我们整理得出以下的编码结构：
指定要下载的漫画，此处为 Relife ，即
titleNo=1；�获取要下载的漫画的最新章节；
��通过上面得到的链接规则：
http://www.cncomico.com/detail.nhn?titleNo=a&articleNo=b&vm=tit_als，从第1话循环下载到最新话。
2.2. 编码
- 首先，设置要下载的漫画的
titleNo，并且按每话的链接规则构建出通用链接
titleNo = 1;
base_url = 'http://www.cncomico.com/detail.nhn?titleNo=' + str(titleNo) + '&articleNo=%d&vm=tit_als'
- 获取最新的章节
# 获取最新章节
def get_last_chapter(titleNo):
page_link = 'http://www.cncomico.com/articleList.nhn?titleNo=' + str(titleNo)
rsp = req.get(page_link)
rsp.encoding = 'utf-8'
text = rsp.text
chapter_links = re.findall('"((http)s?://.*?(&vm=tit_als))"', text)
last_chapter_link = chapter_links[0][0]
last_chapter_num = int(re.findall("articleNo=(.+?)&vm=tit_als", last_chapter_link)[0])
return last_chapter_num
- 获取每一章节的图片链接
# 获取特定章节的内容
def get_chapter_data(chapter_url):
rsp = req.get(chapter_url)
rsp.encoding = 'utf-8'
text = rsp.text
image_data = re.findall('"((http)s?://comicimg.*?(jpg))"', text)
image_links = []
for item in image_data:
image_links.append(item[0])
return image_links;
- 根据图片链接下载所有的图片
# 下载指定链接内容
def download_files(urls, dir_path):
if os.path.exists(dir_path) == False:
os.makedirs(dir_path)
for idx, link in enumerate(urls):
book_name = link.split('/')[-1]
full_name = dir_path + book_name
if os.path.isfile(full_name) == False:
r = req.get(link, stream=True)
with open(full_name, 'wb') as f:
for chunk in r.iter_content(chunk_size=1024):
if chunk:
f.write(chunk)
f.flush()
f.close()
print('download ' + book_name + ' finished')
- 循环下载所有章节（包含主逻辑及用到的库）
import os
import requests as req
from bs4 import BeautifulSoup as bs
import re
titleNo = 1;
base_url = 'http://www.cncomico.com/detail.nhn?titleNo=' + str(titleNo) + '&articleNo=%d&vm=tit_als'
last_chapter = get_last_chapter(titleNo)
for index in range(1, last_chapter + 1):
chapter_url = base_url %(index)
chapter_data = get_chapter_data(chapter_url)
download_files(chapter_data, './relife/chapter' + str(index) + '/')
2.3. 下载
执行以上脚本，待执行完成，在当前目标会**创建一个 relife **的目录，其中包含所有的漫画资源。
3. 结尾
虽然上面的脚本只是下载了 Relife ，但从 cncomico 的源代码来看，完全可以下载全站的所有漫画，主要是 http://www.cncomico.com/articleList.nhn?titleNo=1 中的 titleNo=1，比如 1 是 Relife，2 是 粉爱这一家，按此类推。
